Token

Definition

Η μικρή μονάδα κειμένου — περίπου μια λέξη ή μέρος λέξης — που τα γλωσσικά μοντέλα διαβάζουν και παράγουν. Μεγαλύτερες εισόδοι και έξοδοι χρησιμοποιούν περισσότερα tokens.