Token
T
Token
Definition
Dil modellerinin okuduğu ve ürettiği, yaklaşık bir kelime veya kelimenin bir kısmına karşılık gelen küçük metin birimidir. Daha uzun girdi ve çıktılar daha fazla token kullanır.