ٹوکن
T
ٹوکن
Definition
ٹیکسٹ کی چھوٹی اکائی — تقریباً ایک لفظ یا لفظ کا حصہ — جو لینگویج ماڈلز پڑھتے اور تیار کرتے ہیں۔ لمبے ان پٹس اور آؤٹ پٹس زیادہ ٹوکنز استعمال کرتے ہیں۔