Token
T
Token
Definition
La piccola unità di testo — all'incirca una parola o parte di essa — che i modelli linguistici leggono e generano. Input e output più lunghi usano più token.