Token
T
Token
Definition
Unit kecil teks — kira-kira sepatah perkataan atau sebahagian perkataan — yang dibaca dan dijana oleh model bahasa. Input dan output yang lebih panjang menggunakan lebih banyak token.