Token(토큰)이란?

Token은 LLM이 텍스트를 처리하는 최소 단위입니다. 한 글자, 단어의 일부, 자주 사용되는 단어, 구두점 등이 될 수 있습니다. 모델은 글자가 아니라 토큰 단위로 과금하고, 길이와 속도를 측정합니다. Anthropic, OpenAI, Google API 모두 토큰 단위로 가격을 매깁니다.

대략적인 환산:

  • 영어 1 토큰 ≈ 0.75 단어
  • 한자 1자 ≈ 1~2 토큰 (모델별 차이)
  • 한국어 1글자 ≈ 1~2 토큰
  • 코드 한 줄은 보통 5~15 토큰

실전 의미: API 비용, 컨텍스트 윈도 사용량, 응답 속도를 예측하려면 모두 토큰으로 생각해야 합니다. Claude Opus 4.x의 100만 토큰 컨텍스트 윈도는 영어 75만 단어, 한자 50만 자 정도를 담을 수 있습니다. Judy AI Lab의 3000자 블로그 포스트가 약 4500 토큰, 전체 75개 용어집이 약 8만 토큰입니다. 이 숫자가 RAG 시스템과 프롬프트 구조 설계를 좌우합니다.