Токен

Definition

Маленька одиниця тексту — приблизно слово або частина слова — яку мовні моделі читають та генерують. Більші вхідні та вихідні дані використовують більше токенів.