토크나이제이션란?

텍스트를 모델이 처리할 수 있는 작은 단위(토큰)로 나누는 과정입니다. 토큰 이해는 API 비용에 직접 영향을 미칩니다.