토큰

Token

인공지능 언어모델이 텍스트를 입력받거나 생성할 때 사용하는 기본 처리 단위다.

문장을 토큰으로 나누는 과정을 토큰화(tokenization)라고 하며, 하나의 토큰은 단어 전체나 단어의 일부, 문장부호, 공백 등에 해당할 수 있다.

따라서 토큰 수는 단어 수나 글자 수와 일치하지 않으며, 같은 문장이라도 언어와 모델의 토큰화 방식에 따라 달라진다.

일반적으로 한국어처럼 영어 이외의 언어는 같은 내용을 표현할 때 영어보다 더 많은 토큰이 필요한 경우가 많다.

언어모델은 입력된 토큰을 숫자로 바꿔 처리한 뒤, 다음에 올 토큰을 하나씩 예측하는 방식으로 문장을 생성한다.

토큰 수는 모델이 한 번에 처리할 수 있는 문맥의 크기(문맥 창)와 응답 길이의 한도를 정하는 단위이자, AI 서비스의 사용량과 요금을 산정하는 기준으로 활용된다. 이미지·음성 등 텍스트 이외의 데이터를 처리하는 모델에서도 입력을 일정한 단위로 나눈 것을 토큰이라고 부른다.

블록체인 기반 디지털자산을 뜻하는 토큰이나, 본인 인증에 쓰이는 보안 토큰과는 구별된다.