Token
T
Token
Definition
Mała jednostka tekstu – mniej więcej jedno słowo lub jego część – którą modele językowe odczytują i generują. Dłuższe dane wejściowe i wyjściowe zużywają więcej tokenów.