टोकन

Definition

टेक्स्ट की छोटी इकाई — लगभग एक शब्द या शब्द का हिस्सा — जिसे भाषा मॉडल पढ़ते और जनरेट करते हैं। लंबे इनपुट और आउटपुट अधिक टोकन का उपयोग करते हैं।