Токен

Definition

Малката единица текст — приблизително дума или част от дума — която езиковите модели четат и генерират. По-дългите входящи данни и изходи използват повече токени.