토큰을 아끼면 결과물이 좋아진다
비용과 품질이 동시에 잡히는 구조
저는 한동안 이런 프롬프트를 쓰고 있었습니다.
"당신은 10년 경력의 전문 카피라이터입니다. 행동경제학을 깊이 이해하고 있으며, 독자의 감정을 움직이는 데 뛰어난 능력을 가지고 있습니다. 아래 조건을 반드시 지켜주세요. 첫째, 문장은 짧게. 둘째, 감정을 자극하되 과하지 않게. 셋째, 결론을 먼저. 넷째, 전문 용어는 쉽게 풀어서. 다섯째, 독자가 행동하게 만들어야 합니다. 여섯째, 브랜드 톤과 일치해야 합니다. 일곱째, SEO를 고려해서. 여덟째, 1000자 내외로. 아홉째, 제목은 세 개 이상 제안해 주세요. 열째, 각 제목에 소제목도 함께..."
눈치채셨나요? 저는 '조건을 많이 쓸수록 AI가 더 잘 따른다'고 믿었습니다.
결과는요?
AI는 조건 열 개 중 다섯 개를 지키고, 셋은 대충 넘어가고, 둘은 아예 무시했습니다.
더 많이 썼더니 더 나빠졌다
이상하죠?
주문을 더 자세히 했는데 왜 결과가 더 엉터리일까요.
요리사에게 이렇게 말해보세요.
"오늘 저녁은 이탈리안으로, 근데 너무 무겁지 않게, 칼로리도 신경 써줘, 재료는 신선한 걸로, 소스는 크리미하게 하되 느끼하면 안 되고, 채소도 넣어줘, 근데 당근은 빼줘, 파스타면은 알덴테로, 치즈는 적당히, 가격도 합리적으로, 빨리 나와야 해, 플레이팅도 예쁘게..."
요리사 표정을 상상해 보세요.
그는 지금 당신의 요청을 처리하고 있는 게 아닙니다. 우선순위를 선택하고 있습니다.
AI도 똑같이 합니다.
당신이 지시를 많이 줄수록, AI는 어디에 집중해야 할지 몰라서 조금씩 다 챙기는 척하다가 아무것도 제대로 못 합니다.
AI의 집중력은 무한하지 않습니다. 지시가 열 개면 집중력이 10분의 1로 쪼개집니다. 지시가 세 개면 집중력이 3분의 1씩. 피자 한 판을 열 조각으로 나누면 한 조각이 얇아지는 것처럼요. 이걸 어텐션 희석이라고 부릅니다. 용어는 몰라도 됩니다. 피자 비유만 기억하시면 됩니다.
그런데 토큰 낭비가 더 무섭습니다
어텐션 희석보다 더 직접적인 문제가 있습니다.
돈입니다.
1편에서 설명드렸죠. AI는 모든 글자를 토큰으로 읽습니다. 그리고 토큰 수가 비용입니다. [1]
위에 제가 썼던 그 긴 프롬프트, 기억하시나요? 저는 그걸 하루에 열 번씩 썼습니다. 매번 수정하면서 더 길어졌고, 어느 날 보니 프롬프트 하나가 600 토큰이 넘어 있었습니다.
실제로 필요한 핵심 지시는 세 개였는데.
나머지 570 토큰은 제 돈으로 AI의 혼란을 사고 있었던 겁니다.
유료 요금제를 쓰고 계신다면, 긴 프롬프트는 단순히 '비효율'이 아닙니다. 매달 조금씩 새는 돈입니다. 무료 요금제를 쓰신다면, 그건 당신이 쓸 수 있는 한도를 더 빨리 소진하는 겁니다. 어느 쪽이든 손해입니다.
실험을 하나 해봤습니다
저는 똑같은 작업을 두 가지 프롬프트로 각각 돌렸습니다.
결과가 놀라웠습니다. 짧은 쪽이 더 빨랐고, 더 일관됐고, 수정도 덜 했습니다.
이유가 뭘까요.
짧은 프롬프트는 AI가 선택할 게 없습니다. 흔들릴 여지가 없습니다. AI의 에너지가 고스란히 결과물에 쏠립니다. 이게 Constraint Prompting [2]이 하는 일입니다. 제약을 주는 게 아니라 집중을 주는 겁니다.
레이스 트랙의 가드레일처럼요. 가드레일이 없으면 차가 어디로 갈지 모릅니다. 가드레일이 있으면 차는 빠르게, 정확하게 목적지로 달립니다.
그리고 목적이 선명하면 AI는 지름길을 찾습니다. ROOFTOP 프레임워크의 Objective(목적)와 Output(결과물)을 먼저 정의하는 게 중요한 이유입니다. 목적이 흐릿한 프롬프트는 AI를 가능성의 숲에서 헤매게 합니다.
토큰을 아끼는 3가지 방법
실제로 써볼 수 있는 방법 세 가지입니다.
첫째, 지시를 3개 이하로 줄이세요.
10개 지시 중 진짜 중요한 건 3개입니다. 나머지 7개는 '있으면 좋겠다'는 희망 사항입니다. 희망 사항은 지시가 아닙니다.
둘째, 배경 설명을 대화 맨 처음에 한 번만 심어두세요.
매번 '저는 금융업계에서 일합니다, 독자는 30~40대 직장인입니다'를 반복하지 마세요. 처음에 한 번만 말해두면 그 대화창이 끝날 때까지 AI가 기억합니다. 이걸 Context Seeding [3]이라고 합니다. 매번 소개서를 들고 들어오는 영업사원처럼 굴지 않아도 됩니다. 첫 번째 악수 한번으로 충분합니다.
셋째, 역할은 짧게, 핵심만."당신은 10년 경력의 전문 카피라이터입니다" 대신 "카피라이터로 작성해 줘"면 충분합니다. AI는 역할 이름만 들어도 그 역할에 맞는 패턴을 압니다. 당신이 설명을 추가할수록 오히려 그 패턴을 덮어버립니다.
지금 당장 해볼 수 있는 것
지금 AI와 나눈 대화창을 열어보세요.
가장 길게 쓴 프롬프트를 찾아보세요.
그 프롬프트에서 핵심 지시 3개를 빼내보세요.
나머지는 과감하게 삭제하고 다시 돌려보세요.
결과가 같거나 더 좋아질 겁니다. 토큰은 절반 이하로 줄어들면서요.
딱 한 번만 해보세요. 그 순간 당신은 실감하게 됩니다. 덜 쓰는 게 더 잘 쓰는 거라는 걸...
좋은 프롬프트는 길지 않습니다. 명확합니다!
그런데 여기서 한 가지 더 무서운 사실이 있습니다.
토큰을 아끼고, 프롬프트를 다듬어도 AI가 여전히 엉뚱한 답을 내놓는 경우가 있습니다.
이유는 간단합니다. AI가 우리의 대화를 처음부터 다 기억하고 있지 않기 때문입니다.
다음 편에서는 AI가 왜 과거를 잊는지, 그 구조를 처음으로 제대로 설명해 드리겠습니다.
#챗GPT #ChatGPT #Claude #클로드 #제미나이 #Gemini #젠스파크 #Genspark #뤼튼 #Perplexity #퍼플렉시티 #코파일럿 #Copilot
참고 링크
[1] Anthropic Pricing Page — https://www.anthropic.com/pricing
[2] Schulhoff et al., "The Prompt Report" (2024) — https://arxiv.org/abs/2406.06608
[3] Wei et al., "Chain-of-Thought Prompting" (2022) — https://arxiv.org/abs/2201.11903