Detaylı Açıklama
Modeller metni kelime kelime değil, token token işler. Türkçe gibi eklemeli dillerde bir kelime birden fazla tokene bölünebilir. Modellerin bağlam penceresi ve API fiyatlandırması token sayısı üzerinden hesaplanır.
Token Nedir?
⏱ 30 Saniyede Anla
Dil modellerinin metni işlerken kullandığı en küçük parça; kabaca bir kelimenin tamamı veya bir bölümü.
Basit Örnek
"yapayiszekasi" kelimesi bir modelde 4-5 tokene bölünebilir. 1.000 token, kabaca 700-750 Türkçe kelimeye denk gelir.
Nerede Kullanılır?
API maliyet hesabı, bağlam penceresi planlaması