Token/Context Window/Temperature/Top-p
AI와 함께하는 프롬프트 엔지니어링
누구나 쉽게 배우는 AI 소통의 기술
1.1 LLM 핵심 용어
— Token · Context Window · Temperature · Top-p
AI와 소통하는 네 가지 마법의 열쇠
어느 날 아침, 초등학교 3학년인 승연이가 엄마에게 물었습니다. “엄마, ChatGPT한테 ‘라면 끓이는 법’ 물어봤는데, 왜 어제는 짧게 대답하고 오늘은 엄청 길게 대답해요?” 엄마는 잠시 생각하다가 웃으며 말했습니다. "그건 AI한테도 비밀 설정이 있기 때문이야." 승연이의 눈이 반짝였습니다.
이런 상황을 여러분도 한 번쯤 경험해 보셨지 않나요? 영어 문장을 고쳐달라고 했을 때 어떤 날은 교과서처럼 딱딱하게, 어떤 날은 미국 드라마 주인공처럼 세련되게 대답하는 AI를 보며 고개를 갸웃거린 적이 있을 겁니다. 분명히 아까 질문했던 내용을 AI가 갑자기 기억하지 못해 당황스러웠던 순간도 있었을 테고요.
그 모든 현상 뒤에는 '이유'가 숨어 있습니다. 그리고 그 이유를 아는 사람과 모르는 사람 사이에는, 마치 영단어를 무작정 외우는 사람과 언어의 원리를 깨우쳐 자유롭게 대화하는 사람 사이의 차이처럼 — 엄청난 간격이 벌어집니다.
영어 강사인 제가 수많은 학생과 소통하며 느낀 점이 하나 있습니다. 좋은 대화는 상대방의 '언어 규칙'을 이해할 때 시작된다는 것이죠. AI도 마찬가지입니다. AI가 세상을 읽고, 기억하고, 선택하는 규칙을 알면 우리는 비로소 AI를 단순한 기계가 아닌 '나만의 완벽한 튜터'로 만들 수 있습니다.
이번 첫번째 챕터에서는 AI와의 소통을 좌우하는 네 가지 마법의 열쇠를 함께 살펴봅니다. 어렵고 딱딱한 IT 교과서가 아니라, 마치 영어 수업 시간에 새로운 문법을 배우듯, 하지만 따분한 문법을 배우는 것이 아닌, 흥미로운 여러분을 위한 치트키를 선사하듯, 더 흥미롭고 재미있는 이야기를 들려드릴게요.
자, 이제 AI의 마음을 여는 네 가지 열쇠를 하나씩 꺼내 볼까요? 준비되셨나요?
https://youtu.be/3rcASdCHDY0?si=PQmucxRsnqMPVRe5
첫 번째 열쇠 — Token(토큰): AI가 세상을 읽는 '글자 조각'
Token이라는 영어 단어는 원래 '표', '입장권', 혹은 '동전 대신 쓰는 물건'을 뜻합니다. 혹시 예전에 버스를 탈 때 동전 대신 내던 '버스 토큰'을 기억하시나요? 혹은 오락실에서 게임기 속에 넣던 전용 동전을 떠올려보셔도 좋습니다. 이처럼 토큰은 무언가를 이용하기 위해 지불하는 화폐와 같거나, 가치를 아주 작게 나눈 단위를 뜻합니다. AI에게 토큰은 바로 그런 존재입니다. 언어를 이해하기 위해 사용하는 '가장 작은 정보의 단위'입니다.
사람이 "오늘 날씨 참 좋다"라는 문장을 읽을 때, 우리는 그 문장 전체를 한 번에 이해합니다. 그런데 AI는 다릅니다. AI는 이 문장을 '오늘', '날씨', '참', '좋다'처럼 잘게 나눠서 하나씩 처리합니다. 더 정확하게는, '오늘' 같은 단어도 AI에 따라 더 작은 조각으로 쪼개질 수 있어요. 이 조각 하나하나를 '토큰'이라고 부릅니다.
레고 블록을 상상해 보세요. 멋진 성을 만들려면 큰 블록 하나가 아니라, 수많은 작은 블록이 필요합니다. AI에게 토큰은 그 레고 블록입니다. 우리가 보내는 모든 문장, 모든 단어가 수많은 토큰으로 쪼개져 AI에게 전달됩니다.
토큰을 이해하면 두 가지 큰 이점이 생깁니다.
• 비용 절약: 많은 AI 서비스는 사용한 토큰 양에 따라 요금을 책정합니다. 질문을 간결하게 할수록 비용이 줄어드는 거죠. 마치 국제전화 요금이 통화 시간에 따라 달라지는 것처럼요.
• 답변 끊김 방지: AI는 한 번에 처리할 수 있는 토큰의 양이 정해져 있습니다. 질문이 너무 길거나, 너무 많은 내용을 한 번에 요청하면 AI의 답변이 뚝 끊길 수 있어요. 토큰 개념을 알면 적당한 길이로 질문을 조절하는 요령이 생깁니다.
팁: "이 내용을 500토큰 이내로 요약해 줘"라고 직접 요청하면, AI가 그 범위 안에서 핵심만 간결하게 정리해 줍니다.
두 번째 열쇠 — Context Window(컨텍스트 윈도우): AI의 '기억력 책상'
Context는 '문맥', '앞뒤 상황'을 뜻하고, Window는 '창문'을 뜻합니다. 두 단어를 합친 '컨텍스트 윈도우'는 AI가 한 번에 기억하고 처리할 수 있는 대화의 범위, 즉 '문맥 창문'을 의미합니다.
넓은 창문을 상상해 보세요. 창문이 클수록 바깥 풍경을 더 넓게, 더 많이 볼 수 있죠. 이처럼 컨텍스트 윈도우가 클수록, AI는 더 긴 대화 내용을 기억하며 이야기를 이어갈 수 있습니다.
이걸 '공부 책상'에 비유해볼게요. 책상이 작으면 책을 몇 권밖에 못 펼쳐 놓을 수 있어요. 책상이 넓으면 참고서, 노트, 문제집을 동시에 펼쳐두고 비교하면서 공부할 수 있죠. AI의 컨텍스트 윈도우가 바로 그 책상입니다. 대화가 길어져 책상 위가 꽉 차버리면, AI는 앞서 나눴던 이야기를 '책상 밑으로 밀어넣는' 것처럼 잊어버리게 됩니다.
AI와 대화를 길게 나누다 보면, AI가 아까 한 말과 전혀 다른 소리를 하거나, 방금 알려준 이름을 잊어버리는 경우가 있습니다. "분명히 주인공 이름은 '나비'라고 했잖아!" 하고 화가 날 수도 있는데요 — 이건 AI가 멍청해서가 아닙니다. 단지 컨텍스트 윈도우가 꽉 찼을 뿐입니다.
팁: 대화가 너무 길어졌다 싶으면 '새 대화'를 시작하고, 중요한 정보를 다시 알려주세요. 50페이지 분량의 긴 문서를 다룰 때는 "핵심 키워드 10개만 먼저 뽑아줘"처럼 나눠서 접근하면 훨씬 효과적입니다.
세 번째 열쇠 — Temperature(템퍼러처): AI의 '창의력 온도계'
Temperature는 영어로 '온도', '기온'을 뜻합니다. AI에서 이 단어는 AI 답변의 '무작위성'과 '창의성'을 조절하는 설정값으로 쓰입니다. 쉽게 말해, AI의 마음 온도를 올리고 내리는 손잡이입니다.
같은 질문을 해도 AI가 매번 다른 답을 내놓는 이유, 바로 여기에 있습니다. AI는 다음에 올 단어를 고를 때 확률을 계산합니다. 온도가 낮으면 가장 확실하고 안전한 단어만 고르고, 온도가 높으면 조금 더 엉뚱하고 창의적인 단어를 선택하게 됩니다.
• 낮은 온도 (0.1~0.3) — 냉철한 교수형: 수학 문제, 역사적 사실, 법률 정보처럼 정확성이 가장 중요한 질문에 적합합니다. 엉뚱한 소리 없이, 교과서처럼 딱딱하지만 틀림없는 답을 내놓습니다.
• 높은 온도 (0.8~1.2) — 상상력 넘치는 소설가형: 동화 쓰기, 광고 카피, 참신한 아이디어 제안처럼 창의성이 필요한 작업에 어울립니다. 예상치 못한 전개와 개성 있는 표현이 쏟아집니다.
팁: "Temperature를 0.2로 낮춰서 오직 역사적 사실만 정확하게 설명해 줘" 혹은 "Temperature를 1.0으로 높여서 아주 의외의 전개로 동화를 써줘"처럼 직접 지시할 수 있습니다.
네 번째 열쇠 — Top-p(탑-피): AI의 '선택 후보 필터'
Top-p에서 'p'는 Probability(프로바빌리티), 즉 '확률'을 뜻합니다. AI가 다음 단어를 고를 때 '얼마나 넓은 범위의 후보를 고려할지'를 결정하는 설정입니다.
음식점을 고르는 상황을 상상해 보세요. Top-p가 낮으면 "평점 5점짜리 맛집만 골라!"처럼 아주 좁은 범위에서 선택합니다. Top-p가 높으면 "평점 3점 이상이면 다 괜찮아, 좀 독특한 곳도 가보자!"처럼 다양한 후보를 고려하게 됩니다.
• Top-p 0.1: "가장 확실한 답 상위 10% 안에서만 골라!" — 안전하고 예측 가능한 답변이 나옵니다.
• Top-p 0.9: "조금 희귀한 단어도 90% 범위까지 넓게 봐!" — 신선하고 다채로운 표현이 등장합니다.
Temperature와 Top-p, 이 둘은 함께 작동합니다. 마치 자동차의 엔진 출력(Temperature)과 핸들의 조향 범위(Top-p)처럼요. 두 설정을 함께 조절하면 AI의 답변 스타일을 훨씬 정교하게 다듬을 수 있습니다.
팁: 답변이 너무 뻔하다면 Top-p를 0.9로 높여보고, AI가 자꾸 엉뚱한 소리를 한다면 Top-p를 0.2로 낮춰 안정적인 답변을 유도해 보세요.
네 가지 열쇠, 한눈에 정리하기
지금까지 배운 네 가지 핵심 용어를 간단히 정리해볼게요.
• Token (토큰): AI가 언어를 읽는 가장 작은 조각. 레고 블록처럼, 모든 문장은 토큰으로 이루어집니다.
• Context Window (컨텍스트 윈도우): AI의 기억력 크기. 창문이 넓을수록 긴 대화를 기억합니다.
• Temperature (템퍼러처): AI의 창의력 온도. 낮으면 정확하고, 높으면 창의적입니다.
• Top-p (탑-피): AI의 단어 선택 범위. p는 Probability(확률). 넓을수록 다양한 표현이 나옵니다.
이제 여러분은 AI를 '부릴' 줄 압니다
처음으로 돌아가서, 승연이 엄마의 대답을 기억하시나요? "AI한테도 비밀 설정이 있기 때문이야." 이제 여러분은 그 비밀의 이름을 알고 있습니다. Token, Context Window, Temperature, Top-p — 이 네 가지 열쇠를 손에 쥔 순간, 여러분은 AI를 단순히 '사용'하는 사람에서, AI를 '설계'하는 사람으로 한 단계 올라서게 됩니다.
초등학생 승연이도, 오랫동안 IT와 거리를 뒀던 분도 — 누구나 이 열쇠를 사용할 수 있습니다. AI라는 광대한 세계를 탐험하는 첫걸음, 이미 내딛으셨습니다.