Token (jeton)
T
Token (jeton)
Définition
La petite unité de texte — environ un mot ou une partie de mot — que les modèles de langage lisent et génèrent. Des entrées et sorties plus longues consomment plus de tokens.