Token
T
Token
Definition
Unitatea mică de text — aproximativ un cuvânt sau o parte dintr-un cuvânt — pe care modelele de limbaj o citesc și generează. Intrările și ieșirile mai lungi utilizează mai mulți tokeni.