같은 질문인데, 왜 AI마다 다른 답을 할까

언어모델의 추론 설정 온도(Temperature)

생 오렌지를 눈앞에서 짜주는 자판기 보셨나요?

싱가포르에 가보면 오렌지 주스 자판기가 있습니다. 자판기 안에는 생오렌지가 가득 들어있는데요. 2달러 정도를 넣으면 오렌지 하나가 데굴데굴 굴러서 착즙기로 이동하고 오렌지가 눈앞에서 보이는 데로 쭉 짜서(Squeeze) 컵에 담겨 나옵니다. 한여름 날씨가 너무 더워서 2번 정도 사먹었는데, 한번은 시원하고, 다른 하나는 미지근한 오렌지 주스가 나왔습니다. 온도가 좀 다르더라구요.

AI도 마치 거대한 자판기와도 비슷합니다. 챗GPT와 같은 AI에 질문(Prompt)을 넣으면 모델(Model)이 설정된 방식(Temperature)에 맞게 데이터(Data)에 기반하여 답변을 생성합니다. AI의 동작을 한 줄로 정리하면 이렇게 표현할 수 있습니다.

AI의 답변 = 모델 + 데이터 + 추론 설정 + 프롬프트

이걸 조금 더 학교에서 배운데로 친근하게 풀어보면, AI는 거대한 함수(Function)와 비슷합니다. f(x)라는 자판기가 하나 있고, '모델', '데이터', '추론설정', '프롬프트'를 넣으면 결과로 답변이 나오는 거죠.

y = f(모델, 데이터, 추론설정, 프롬프트)

싱가포르의 오렌지 주스 자판기처럼 들어있는 모델(착즙기/믹서기), 다양한 오렌지, 시원함 정도, 사용자 주문처럼, 우리가 사용하는 AI 에 따라서 모델이 다르고, 데이터가 다르고, 창의성의 정도가 다르고, 사용자 요청도 조금씩 다릅니다. 이처럼 겉으로 보기엔 똑같이 생긴 AI도, 안에 들어 있는 모델과 설정, 데이터가 다르면 같은 질문을 넣어도 다른 답이 나오는 건 너무 자연스러운 일입니다.

데이터는 AI의 교과서이자 세계관이다

이제 하나씩 살펴볼건데요, 먼저 데이터부터 보겠습니다. AI에게 데이터는 단순한 재료가 아니라, 어떤 세상을 보고 자라왔는지를 결정하는 성장 배경입니다. 이건 한마디로 “무엇을 보고 공부했는가”의 문제입니다. 뉴스와 위키피디아 데이터를 많이 보고 학습 AI는 말투가 중립적이고, 일반론적인 상식선에서 답을 잘합니다. 대조적으로 연구논문이나 기술 문서를 많이 학습한 AI는 구조적이고 논리적인 설명을 선호합니다. 또 스크리트나 영화의 대사와 같은 데이터를 많이 학습한 AI는 친절하고 사람 같은 톤으로 답합니다. 그리고 예를 들어 금융, 반도체, 중공업, IT 등 특정산업 데이터로 학습된 AI는 현업 중심, 도메인 특화된 이야기를 자연스럽게 꺼냅니다. 사람도 자라온 환경에 따라 말하는 방식과 관점이 달라질 듯, AI도 학습 데이터가 곧 성격이 됩니다.

챗GPT에서 답변을 담당하는 거대 언어 모델(LLM : Large Language Model)은 하나가 아니라는 사실 알고 계셨나요? 마찬가지로 서비스별로 GPT, Gemini, Claude, Grok 등은 각기 다른 LLM 모델을 사용하고, 각 모델들은 독자적인 신경망 구조를 가지고 있습니다. GPT 만 보더라도, GPT-4o 는 텍스트, 오디오, 이미지를 동시에 처리할 수 있는 멀티모달 모델이고, GPT-5 Thinking 은 추론에 특화되어 수학, 과학, 코딩에 적합한 모델, GPT-5 Nano는 빠른 속도와 저렴한 비용으로 IoT와 같은 엣지 기기에 활용되는 모델입니다.

냉정과 열정 사이의 온도, 인공지능의 무작위성을 높이는 설정값

추론 설정은 제가 싱가포르 오렌지 주스의 시원함으로 소개드린 온도(Temperature)입니다. 실제 인공지능의 설정에서도 Temperature 온도라고 부르는데요, 텍스트를 생성할 때 답변의 무작위성(Randomness)과 창의성(Creativity)을 조절하는 하이퍼파라미터(설정값) 입니다.

AI가 사고하는 방식은 인간과는 다른데요. 사람은 알고 있는 정답을 이야기하는 반면, AI는 다음에 올 단어의 확률을 예측해서 문장을 만드는 방식으로 답변을 합니다. 그래서 AI의 답변을 확률론적(Stochastic)이라고 말합니다. 그렇다면 “나는 무엇을 마실까?” 질문에 대해 “나는 ( )을 마신다” 에서 아이스 아메리카노(50%), 주스(30%), 홍차(15%), 핫초코(10%)로 기본적인 확률을 가지고 있다가, 날씨, 시간대, 연령 등 사용자 정보, 질문 컨텍스트(상황) 정보를 고려해서 최종 답변을 생성해 내는 방식이죠. 이때 온도 설정이 얼마나 무작위성을 줄 것인지를 결정하는 거죠.

예를 들어, Temperature가 낮으면 AI는 안전하고 보수적인 표현을 선택하고(함께 자주 쓰이는 단어), Temperature가 높아지면 표현이 다양해지고 창의적인 방향으로 갑니다. 같은 질문인데 답의 분위기가 달라지는 이유가 여기에 있습니다.

그럼 과연, AI는 통제 불가능한 존재일까요?

계속해서 전문가 인사이트와 해결방안이 담긴 원문은 다음 인스타그램에서 확인하실 수 있습니다.

https://www.instagram.com/reel/DVIH85niTWT/?utm_source=ig_web_copy_link&igsh=MzRlODBiNWFlZA==