AI에게 '단어'란 없다
당신이 AI와 계속 엇갈리는 진짜 이유, 토큰
당신도 이런 적 있을 것이다.
분명히 열심히 설명했다. 배경도 알려줬고, 원하는 것도 구체적으로 말했다. 그런데 돌아온 답은 영 딴판이었다. 답답해서 다시 설명하고, 또다시 설명하고. 결국 이런 생각이 든다.
"AI가 멍청한 건가? 아니면 내가 질문을 못 하는 건가?"
정답은 둘 다 아니다. 진짜 문제는 훨씬 근본적인 곳에 있다. AI는 처음부터 우리가 쓰는 단어나 문장 단위로 세상을 이해하지 않는다. AI에게 세상은 토큰(Token)으로 이루어져 있다
AI에게 '단어'는 없다
토큰이 대체 무엇인가.
토큰은 AI가 텍스트를 처리하는 가장 작은 단위다.
AI의 눈에 보이는 세상은 단어가 아니라 조각이다.
쉽게 말하면 이렇습니다. 우리가 "안녕하세요"라고 쓰면, AI는 이걸 한 덩어리로 보지 않습니다. "안녕" + "하" + "세요", 이런 식으로 잘게 쪼개서 읽습니다. 영어도 마찬가지입니다. "running"은 "run"과 "ning"으로 나뉩니다.
이 조각 하나하나가 토큰입니다.
그리고 이 토큰이 AI 세계에서는 곧 돈이자 뇌의 용량입니다. [1]
외국어를 처음 배울 때를 생각해 보라. 문장 전체가 아니라 음절 하나하나를 소리 내며 읽던 그 느낌. AI가 텍스트를 읽는 방식이 정확히 그것이다.
그래서 AI에게는 "안녕하세요"와 "안녕하세요"가 완전히 다른 구성이다. 띄어쓰기 하나가 토큰을 바꾼다. 당신이 느끼기엔 같은 말이지만, AI에게는 전혀 다른 입력값이다.
오마카세집에서 재료값을 모르고 시키는 것과 같다
비싼 오마카세 초밥집에 갔다고 상상해보세요.
메뉴판은 없습니다. 그냥 "맛있는 거 주세요"라고 했더니 셰프가 알아서 재료를 꺼내기 시작합니다. 참치 뱃살, 성게알, 트러플, 캐비아… 하나씩 올라갈 때마다 재료값이 쌓입니다.
AI와의 대화가 정확히 이렇습니다.
당신이 AI에게 보내는 모든 글자, 모든 기호, 모든 띄어쓰기가 토큰으로 환산됩니다. 질문만이 아닙니다. AI가 돌려주는 답변도, 이전 대화 내용도, 첨부한 파일도 전부 토큰으로 계산됩니다. 재료값이 쌓이듯, 토큰이 쌓입니다.
그리고 그 토큰 수에는 한계가 있습니다.
토큰이 꽉 차면 AI는 기억을 버린다
여기서 진짜 문제가 생깁니다.
AI와의 대화창 하나에 담을 수 있는 토큰 수는 정해져 있습니다. 이걸 컨텍스트 윈도우라고 하는데, 쉽게 말하면 AI의 단기 기억 용량입니다. 마치 책상 위의 공간처럼요. 책상이 꽉 차면 오래된 서류부터 바닥에 내려놓을 수밖에 없습니다.
이 용량이 꽉 차기 시작하면, AI는 앞에서 나눈 대화를 밀어내기 시작합니다.
그 순간부터 AI는 이상한 답을 내놓기 시작합니다. 앞에서 분명히 말했는데 왜 모르냐고요? 그 대화가 이미 AI의 기억 밖으로 밀려났기 때문입니다. AI가 멍청해진 게 아니라, 기억할 공간이 없어진 겁니다. [2]
한국어 사용자라면 더 억울한 사실 하나
같은 내용을 써도 한국어는 영어보다 토큰을 1.5~2배 더 씁니다. [3]
왜냐고요? AI의 토큰 처리 방식이 처음부터 영어 기반으로 만들어졌기 때문입니다. 영어는 알파벳 조합이라 쪼개기가 효율적인데, 한국어는 자모 조합 방식이 달라서 같은 의미를 표현하는 데 더 많은 조각이 필요합니다.
비유하자면, 같은 거리를 가는데 내 차는 기름을 두 배 쓰는 겁니다.
억울하지만 어쩌겠어요. 더 영리하게 써야죠. OpenAI 공식 토크나이저에서 직접 한국어와 영어를 입력해보면 바로 확인할 수 있습니다. [3] 다음 편에서 이걸 줄이는 구체적인 방법을 바로 알려드립니다.
내가 쓰는 AI, 얼마나 버틸 수 있나
내가 쓰는 AI 서비스가 얼마나 많은 토큰을 한 번에 처리할 수 있는지 알아두면 전략적으로 대화를 설계할 수 있다.
숫자가 크다고 무조건 좋은 게 아니다.
콘텍스트가 넓어도 결국 내가 얼마나 효율적으로 토큰을 쓰느냐가 결과물의 질을 좌우한다. 넓은 도로가 있어도 차를 엉망으로 몰면 사고 나는 것처럼. 토큰 한계를 아는 것보다 토큰을 어떻게 쓰느냐가 더 중요하다.
그래서, 토큰을 왜 신경 써야 하나
여기서 이런 생각이 들 수 있다.
"어차피 월정액이면 토큰 수 상관없는 거 아닌가요?"
절반은 맞고 절반은 틀렸다.
월정액이라도 시간당 처리 가능한 토큰에 한계가 있다. 그리고 무엇보다, 토큰이 많이 쌓일수록 AI는 점점 멍청해진다. 같은 대화창에서 계속 대화를 이어가면 이전 내용이 전부 토큰으로 쌓여 AI가 정작 중요한 새 요청에 집중하지 못하게 된다.
이것을 눈덩이 토큰 효과라고 한다. 대화를 이어갈수록 AI가 점점 이상한 답을 내놓기 시작한다면, 당신 탓이 아니다. 구조적으로 그렇게 될 수밖에 없는 이유가 있다. 그게 다음 편에 있다.
지금 당장 해볼 수 있는 것
오늘 AI에게 질문할 때 딱 한 가지만 바꿔보라.
배경 설명을 절반으로 줄여라. 대신 원하는 결과를 구체적으로 말하라. "요약해 줘"가 아니라 "3줄로, 항목별로, 친근한 말투로 요약해 줘"처럼.
그것만으로도 결과가 달라진다.
그런데, 같은 말도 토큰 수가 다르다면?
짧게 쓰면 토큰이 줄어드니까, 그냥 무조건 짧게 쓰면 되는 거 아닌가? 저도 한동안 그렇게 생각하고 그렇게 했습니다. 그런데 그게 또 함정이더라고요. 어떤 부분을 줄이느냐에 따라 결과가 완전히 달라집니다. 1만 원짜리 질문과 100원짜리 질문의 차이, 다음 편에서 바로 알려드립니다.
참고 자료 [1] Anthropic, Claude Model Overview — https://docs.anthropic.com/en/docs/about-claude/models/overview
[2] Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS — https://arxiv.org/abs/1706.03762
[3] OpenAI Tokenizer — https://platform.openai.com/tokenizer