Token
T
Token
Definition
Unit teks kecil — kurang lebih satu kata atau bagian dari kata — yang dibaca dan dihasilkan oleh model bahasa. Input dan output yang lebih panjang menggunakan lebih banyak token.