Token
T
Token
Definition
De kleinste teksteenheid — ongeveer een woord of woorddeel — die taalmodellen lezen en genereren. Langere invoer en uitvoer gebruiken meer tokens.