토크나이저(Tokenizer)란? AI가 문장을 토큰으로 나누는 방식

TL;DR

토크나이저는 사람이 쓴 문장, 코드, 기호를 AI 모델이 처리할 수 있는 토큰 단위로 쪼개고, 필요하면 토큰을 다시 텍스트로 바꾸는 변환 규칙과 도구입니다. 같은 문장도 모델과 토크나이저가 달라지면 토큰 수가 달라질 수 있습니다. 그래서 긴 문서 요약, API 비용 계산, 컨텍스트 한도 확인, 모델 이전 작업에서는 토크나이저를 이해하는 것이 중요합니다.

핵심 3줄 요약:

• 핵심 1
  토크나이저는 텍스트를 AI가 읽는 작은 단위인 토큰으로 나누는 도구입니다.
• 핵심 2
  OpenAI와 Google 문서는 토큰화 방식이 모델과 인코딩에 따라 달라질 수 있다고 설명합니다.
• 핵심 3
  초보자는 토크나이저를 "AI용 글자 계산기"로만 보지 말고 비용, 속도, 한도, 모델 호환성에 영향을 주는 변환 방식으로 이해해야 합니다.

이 글에서 다룰 내용

한 문장 정의: 토크나이저는 무엇인가요?

토크나이저는 사람이 입력한 텍스트를 AI 모델이 처리할 수 있는 토큰 목록으로 바꾸고, 모델이 만든 토큰을 다시 사람이 읽는 텍스트로 바꾸는 변환 도구입니다.

초보자에게는 이렇게 이해하면 쉽습니다. 사람은 "감자나라ai님 안녕하세요"를 한 문장으로 봅니다. 하지만 AI 모델은 이 문장을 그대로 읽기보다, 내부 규칙에 따라 여러 조각으로 나눈 뒤 숫자처럼 처리합니다. 이 조각이 토큰이고, 조각을 나누는 규칙과 도구가 토크나이저입니다.

OpenAI 도움말은 토큰이 모델이 처리하는 텍스트의 기본 단위이며, 언어와 문맥에 따라 한 글자처럼 짧을 수도 있고 단어처럼 길 수도 있다고 설명합니다. 또한 정확한 토큰 수는 대상 모델에 맞는 토크나이저나 tiktoken 같은 도구로 확인하라고 안내합니다.

Google Gemini API 문서도 모델이 입력과 출력을 토큰이라는 단위로 처리하며, 텍스트를 토큰으로 나누는 과정을 tokenization이라고 설명합니다. 즉 토크나이저는 AI가 문장을 처리하기 전에 거치는 입구에 가깝습니다.

한 줄 정리: 토크나이저는 사람이 읽는 문장을 AI가 계산할 수 있는 토큰 단위로 바꾸는 번역기입니다.

왜 토크나이저가 중요한가요?

토크나이저를 모르면 "글자 수는 짧은데 왜 비용이 많이 나오지?", "왜 같은 문서가 한 모델에서는 들어가고 다른 모델에서는 잘리지?", "왜 코드와 표를 넣으면 토큰이 빨리 늘어나지?" 같은 상황을 이해하기 어렵습니다.

AI API와 챗봇은 보통 입력 토큰과 출력 토큰을 기준으로 한도, 비용, 속도, 캐시, 사용량을 계산합니다. OpenAI 도움말은 API 응답 메타데이터에 입력 토큰, 출력 토큰, 캐시 토큰, 일부 고급 모델의 reasoning tokens 같은 사용량이 표시될 수 있다고 설명합니다. Gemini 문서도 입력과 출력 토큰 수가 비용 판단에 영향을 줄 수 있다고 안내합니다.

토크나이저는 모델별로 다를 수 있습니다. OpenAI는 tokenization이 모델과 encoding에 따라 달라진다고 설명하고, Anthropic 문서는 토큰 카운팅 결과가 실제 입력 토큰과 약간 다를 수 있으며 모델별 토크나이저 변화가 비용과 컨텍스트 한도 판단에 영향을 줄 수 있다고 안내합니다.

핵심 인사이트: 토크나이저는 개발자만의 세부 기술이 아니라, 긴 문서 작업과 AI 비용 관리를 이해하는 기본 개념입니다.

쉬운 예시로 이해하기

첫째, 같은 단어도 위치와 모양에 따라 다르게 나뉠 수 있습니다.

OpenAI 도움말은 같은 red라는 단어도 앞의 공백, 대문자 여부, 문장 안의 위치에 따라 다른 토큰으로 처리될 수 있다고 예시를 듭니다. 사람에게는 거의 같은 단어처럼 보여도 모델 내부에서는 다른 조각일 수 있다는 뜻입니다.

둘째, 한국어와 영어는 단순히 단어 수로 비교하기 어렵습니다.

영어 문장은 공백 기준으로 단어를 세기 쉽지만, 한국어는 조사와 어미가 붙고 띄어쓰기 방식도 다양합니다. 그래서 "단어 100개면 토큰도 비슷하겠지"라고 생각하면 틀릴 수 있습니다. 모델별 토크나이저로 직접 세어 보는 편이 안전합니다.

셋째, 코드와 JSON은 토큰이 빨리 늘어날 수 있습니다.

괄호, 따옴표, 콤마, 줄바꿈, 변수명, 들여쓰기까지 모두 토큰 계산에 영향을 줄 수 있습니다. 그래서 긴 코드 파일이나 로그를 AI에 넣을 때는 글자 수만 보지 말고 토큰 수와 컨텍스트 한도를 함께 봐야 합니다.

넷째, 이미지와 오디오도 토큰 계산에 포함될 수 있습니다.

Gemini API 문서는 텍스트뿐 아니라 이미지, 비디오, 오디오 같은 비텍스트 입력도 토큰화된다고 설명합니다. 멀티모달 AI에서는 "문장만 토큰으로 계산된다"라고 보면 부족합니다.

예시 정리: 토크나이저는 문장을 단어장처럼 깔끔하게 자르는 도구가 아니라, 모델별 규칙에 따라 텍스트와 입력을 계산 가능한 조각으로 바꾸는 장치입니다.

토크나이저는 실전에서 어디에 쓰이나요?

첫째, 긴 문서를 AI에 넣기 전에 씁니다.

보고서, 회의록, 계약서, 논문, 고객 상담 로그를 넣을 때 토큰 수가 컨텍스트 윈도우를 넘으면 일부 내용이 잘리거나 요약이 필요합니다. 토크나이저나 토큰 카운터로 먼저 확인하면 "한 번에 넣을지, 나눠 넣을지, 요약 후 넣을지"를 결정할 수 있습니다.

둘째, API 비용을 예상할 때 씁니다.

입력 토큰이 많고 출력 토큰도 길면 비용이 올라갈 수 있습니다. 대량 자동화에서는 작은 차이도 누적됩니다. 같은 내용을 더 짧게 쓰거나, 반복되는 시스템 지시를 캐싱하거나, 불필요한 로그를 줄이는 판단에 토큰 수가 도움이 됩니다.

셋째, 모델을 바꿀 때 씁니다.

같은 프롬프트라도 모델이 바뀌면 토큰 수와 한도 판단이 달라질 수 있습니다. Anthropic 문서는 특정 최신 모델의 토크나이저가 이전 모델과 같은 텍스트에서 더 많은 토큰을 만들 수 있으므로, 모델 이전 시 이전 토큰 수를 그대로 쓰지 말고 다시 세어 보라고 안내합니다.

넷째, 검색과 RAG를 만들 때 씁니다.

문서를 검색용 조각으로 나누는 chunking, 임베딩 생성, 컨텍스트 구성에서도 토큰 수가 중요합니다. 너무 크게 자르면 한도에 걸리고, 너무 작게 자르면 맥락이 끊길 수 있습니다. 토크나이저는 이 균형을 잡는 데 쓰입니다.

실전 팁: 긴 문서 자동화를 만들 때는 "글자 수"보다 "모델별 토큰 수"를 기준으로 입력 분할, 요약, 캐시, 비용 계산을 설계하세요.

헷갈리는 용어와 차이

토큰과 토크나이저는 다릅니다

토큰은 모델이 처리하는 조각입니다. 토크나이저는 그 조각을 만드는 규칙과 도구입니다. 쉽게 말해 토큰이 "레고 블록"이라면, 토크나이저는 문장을 레고 블록으로 나누는 절단기와 조립 설명서에 가깝습니다.

토큰화와 토크나이저는 다릅니다

토큰화는 텍스트를 토큰으로 나누는 과정입니다. 토크나이저는 그 과정을 수행하는 프로그램이나 규칙 묶음입니다. "문서를 스캔한다"와 "스캐너"의 관계처럼 보면 됩니다.

인코딩과 토크나이저는 함께 쓰입니다

인코딩은 어떤 텍스트 조각을 어떤 토큰 ID로 매핑할지 정하는 규칙에 가깝습니다. OpenAI의 tiktoken은 특정 모델에 맞는 encoding을 가져와 텍스트를 토큰으로 바꿀 수 있게 해 줍니다. 같은 텍스트라도 encoding이 달라지면 토큰 수가 달라질 수 있습니다.

BPE는 토크나이저를 만드는 방식 중 하나입니다

OpenAI의 tiktoken 저장소는 tiktoken을 OpenAI 모델에 쓰는 빠른 BPE 토크나이저라고 설명합니다. BPE는 자주 함께 등장하는 문자 조각을 합쳐 토큰을 만드는 방식으로 이해하면 됩니다. 모든 토크나이저가 BPE만 쓰는 것은 아니지만, 대형 언어 모델에서 자주 등장하는 방식입니다.

컨텍스트 윈도우와 토크나이저는 다릅니다

컨텍스트 윈도우는 모델이 한 번에 참고할 수 있는 토큰의 최대 작업 공간입니다. 토크나이저는 입력을 그 토큰으로 바꾸는 도구입니다. 즉 토크나이저가 먼저 문서를 토큰으로 세고, 그 결과가 컨텍스트 윈도우 안에 들어가는지 확인합니다.

비교 정리: 토큰은 조각, 토큰화는 쪼개는 과정, 토크나이저는 그 과정을 수행하는 도구, 인코딩은 조각과 숫자를 연결하는 규칙, 컨텍스트 윈도우는 들어갈 수 있는 토큰 작업 공간입니다.

실전에서 어떻게 쓰면 좋나요?

첫째, 챗GPT나 API에 긴 글을 넣기 전에는 대략 단어 수보다 토큰 수를 확인합니다. 특히 한국어, 코드, 표, JSON, 로그, 이모지, URL이 많은 입력은 예상보다 토큰이 늘어날 수 있습니다.

둘째, 반복 작업에서는 프롬프트 길이를 줄입니다. 같은 지시문을 매번 길게 넣으면 입력 토큰이 계속 늘어납니다. 자주 쓰는 지시문은 짧게 표준화하고, 필요한 문서만 붙이며, 모델이 봐야 할 부분과 참고하지 않아도 되는 부분을 나눕니다.

셋째, 모델을 바꿀 때는 토큰 수를 다시 계산합니다. "이전 모델에서 10만 토큰 이하였으니 새 모델도 괜찮겠지"라고 가정하면 안 됩니다. 모델, 인코딩, 도구 호출, 이미지 입력 여부에 따라 실제 계산이 달라질 수 있습니다.

넷째, 개발자는 모델별 공식 도구를 우선 사용합니다. OpenAI 모델에는 OpenAI Tokenizer나 tiktoken을, 클로드에는 Anthropic token counting endpoint를, 제미나이에는 Gemini API의 count_tokens 또는 usage 정보를 확인하는 방식이 더 안전합니다.

실전 팁: 토큰 수가 중요한 작업에서는 "대략 몇 자"가 아니라 "어떤 모델 기준 몇 토큰"인지 기록하세요.

주의할 점

토큰 수는 절대적인 글자 수가 아닙니다. 한글, 영어, 숫자, 특수문자, 코드, 줄바꿈, 공백, 이모지, URL이 섞이면 사람이 느끼는 길이와 모델이 계산하는 길이가 달라질 수 있습니다.

또한 토큰 카운터 결과가 실제 과금이나 요청 처리 결과와 완전히 같다고 단정하면 안 됩니다. Anthropic 문서는 토큰 카운팅 결과가 추정치이며 실제 입력 토큰과 약간 다를 수 있다고 안내합니다. 도구 사용, 시스템 최적화, 멀티모달 입력, 캐시 처리까지 들어가면 사용량 항목이 더 복잡해질 수 있습니다.

마지막으로, 민감한 문서를 외부 토큰 계산기에 그대로 붙여 넣지 않는 편이 좋습니다. 토큰 수를 세기 위해 고객 개인정보, 비밀키, 계약서, 내부 전략 문서를 공개 웹 도구에 넣으면 보안 문제가 생길 수 있습니다. 가능한 공식 API, 로컬 도구, 회사가 승인한 환경을 사용하세요.

주의: 토크나이저는 비용과 한도를 이해하는 데 도움을 주지만, 모델 답변의 정확성이나 개인정보 보호를 자동으로 보장하지는 않습니다.

자주 묻는 질문

Q1. 토크나이저는 초보자도 알아야 하나요?

네. 직접 개발하지 않더라도 긴 문서 요약, 파일 분석, AI 자동화, API 비용 계산을 한다면 알아두면 좋습니다. 초보자는 "AI가 글을 내부 조각으로 나누는 방식" 정도로 시작하면 충분합니다.

Q2. 토큰 수와 글자 수는 같은가요?

아닙니다. 글자 수는 눈에 보이는 문자 개수이고, 토큰 수는 모델의 토크나이저가 나눈 내부 조각 수입니다. 같은 글자 수라도 언어, 기호, 공백, 모델에 따라 토큰 수가 달라질 수 있습니다.

Q3. 모델마다 토크나이저가 다른가요?

다를 수 있습니다. OpenAI는 tokenization이 모델과 encoding에 따라 달라질 수 있다고 설명합니다. Anthropic도 모델 이전 시 같은 텍스트의 토큰 수가 달라질 수 있으니 다시 세어 보라고 안내합니다.

Q4. 토크나이저를 알면 AI 비용을 줄일 수 있나요?

도움이 됩니다. 입력을 짧게 만들고, 반복 지시를 줄이고, 긴 문서를 나눠 처리하고, 모델별 토큰 수를 확인하면 불필요한 토큰 사용을 줄일 수 있습니다. 다만 비용은 모델 가격, 캐시, 출력 길이, 도구 사용 방식도 함께 봐야 합니다.

Q5. 한국어는 영어보다 토큰이 더 많이 나오나요?

항상 그렇다고 단정할 수는 없습니다. 모델과 토크나이저에 따라 다릅니다. 다만 한국어는 조사, 어미, 띄어쓰기, 한자·영문 혼용 때문에 단어 수만 보고 토큰 수를 추정하기 어렵습니다.

Q6. 공개 토크나이저 도구에 회사 문서를 넣어도 되나요?

민감한 문서라면 피하는 것이 좋습니다. 토큰 수 확인이 필요하면 회사가 승인한 API, 로컬 도구, 보안 환경을 사용하세요. 토큰 계산을 위해 개인정보나 비밀 정보를 외부 도구에 붙여 넣는 것은 좋은 습관이 아닙니다.

출처

마무리

토크나이저는 AI가 문장을 이해하기 전에 반드시 거치는 기본 변환 장치입니다. 한 문장으로 다시 정리하면, 토크나이저는 사람이 쓴 텍스트를 모델이 계산할 수 있는 토큰으로 나누고 다시 텍스트로 되돌리는 도구입니다.

초보자는 오늘 세 가지만 기억하면 됩니다. 첫째, 토큰은 AI가 처리하는 조각입니다. 둘째, 토크나이저는 그 조각을 만드는 도구입니다. 셋째, 모델마다 토큰 수가 달라질 수 있으므로 긴 문서, 비용 계산, 모델 이전 작업에서는 반드시 대상 모델 기준으로 확인해야 합니다.