토큰
T
토큰
Definition
언어 모델이 읽고 생성하는 텍스트의 작은 단위로, 대략 한 단어 또는 단어의 일부입니다. 입력과 출력이 길수록 더 많은 토큰을 사용합니다.
언어 모델이 읽고 생성하는 텍스트의 작은 단위로, 대략 한 단어 또는 단어의 일부입니다. 입력과 출력이 길수록 더 많은 토큰을 사용합니다.