Token
T
Token
Definition
A pequena unidade de texto — aproximadamente uma palavra ou parte de uma palavra — que os modelos de linguagem leem e geram. Entradas e saídas mais longas utilizam mais tokens.