טוקן
T
טוקן
Definition
יחידת הטקסט הקטנה — בערך מילה או חלק ממילה — שמודלי שפה קוראים ומייצרים. קלט ופלט ארוכים יותר משתמשים בטוקנים רבים יותר.