Токен

Definition

Минимальная единица текста — примерно слово или его часть — которую языковые модели читают и генерируют. Более длинные входные данные и результаты требуют больше токенов.