토큰이란?

쉽게 이해하면

책을 읽을 때 문장을 작은 조각으로 나눈다고 생각하면 쉽습니다. 사람에게는 같은 길이로 보이는 한국어와 영어 문장이 모델에게는 다른 수의 조각일 수 있습니다. 따라서 영어 기준의 단어 수 환산을 한국어 업무 문서에 그대로 적용하면 예상과 차이가 생길 수 있습니다.

예를 들어 보고서 전체를 매번 전달하는 방식과 필요한 부분만 골라 전달하는 방식은 입력 토큰 사용량이 다릅니다. 다만 짧게 만들면서 승인 조건이나 예외 조항까지 빠뜨리면 결과가 나빠질 수 있으므로, 줄인 양과 남긴 정보의 품질을 함께 보아야 합니다.

알아둘 점

입력과 출력

질문뿐 아니라 지시문, 이전 대화, 검색 자료, 도구 응답 등이 입력을 차지할 수 있습니다. 출력으로 생성하는 답변도 토큰으로 계산됩니다. 구체적인 한도와 과금 대상은 사용하는 모델·서비스의 설명을 확인해야 합니다.

측정하는 방법

실제 사용 모델의 토큰 계산 도구나 사용량 응답으로 대표 문서를 측정하는 편이 정확합니다. 특정 언어의 글자 수를 일정 비율로 나누는 방법은 대략적인 추정에만 사용합니다.

토큰을 줄일 때

무조건 압축하기보다 반복 내용과 불필요한 자료부터 제거합니다. 문서 식별자·날짜·조건 등 답변 근거에 필요한 정보는 보존해야 합니다.

비슷한 용어와의 차이

글자 수

화면에 보이는 문자 길이

토큰 수

모델이 처리하는 단위의 수

컨텍스트 윈도

한 번에 다룰 수 있는 문맥의 범위