الرمز المميز

التعريف

الوحدة الصغيرة من النص — كلمة تقريباً أو جزء منها — التي تقرأها نماذج اللغة وتُنشئها. المدخلات والمخرجات الأطول تستخدم رموزاً مميزة أكثر.