Türkçe token ile İngilizce token arasındaki fark

LLM’lerde Türkçe token ile İngilizce token arasında ciddi bir fark var. Aynı anlamı taşıyan bir metin, Türkçe yazıldığında İngilizceye göre belirgin biçimde daha fazla token harcıyor.

Pratik bir sonuç: Türkçe prompt yazıyorsanız, modelin koda Türkçe yorum yazmamasını bir kural olarak ekleyin. Böylece hem token, hem de context tasarrufu sağlarsınız.