T

Mała jednostka tekstu – mniej więcej jedno słowo lub jego część – którą modele językowe odczytują i generują. Dłuższe dane wejściowe i wyjściowe zużywają więcej tokenów.

Definition