টোকেন
T
টোকেন
Definition
টেক্সটের ছোট একক — মোটামুটি একটি শব্দ বা শব্দের একটি অংশ — যা ভাষা মডেলগুলো পড়ে ও তৈরি করে। দীর্ঘতর ইনপুট ও আউটপুট বেশি টোকেন ব্যবহার করে।