Token
T
Token
Definition
Den lilla textenheten – ungefär ett ord eller en del av ett ord – som språkmodeller läser och genererar. Längre indata och utdata använder fler tokens.