توکن (Token)
T
توکن (Token)
Definition
واحد کوچک متن — تقریباً یک کلمه یا بخشی از یک کلمه — که مدلهای زبانی میخوانند و تولید میکنند. ورودیها و خروجیهای طولانیتر از توکنهای بیشتری استفاده میکنند.