Token
T
Token
Definition
La pequeña unidad de texto —aproximadamente una palabra o parte de una palabra— que los modelos de lenguaje leen y generan. Las entradas y salidas más largas usan más tokens.