이 방에는 우리 둘만 있는 줄 알았다.

ChatGPT 대화창 뒤에서 일어나는 일

나는 꽤 오래 AI와 대화해왔다.

그래서 이 대화창의 규칙을 어느 정도 안다고 생각했다.

질문하는 나.

답하는 모델.

이 방에는 우리 둘만 있다고.

그런데 어느 날 이상한 일이 생겼다.

챗GPT가 내게 말했다.

“신혼여행으로 미국 횡단을 했을 때.”

나는 그런 적이 없다.

잠깐 멈춤이 있었다. 평소와 조금 다른, 짧은 ‘생각 중’ 같은 시간. 그리고 챗GPT는 말을 정정했다. 방금 전까지 확신하던 이야기를 스스로 고쳐 말했다.

여기까지는 그냥 AI의 실수라고 생각할 수 있다. 문제는 그 다음이었다.

답변 아래에 출처 버튼이 생겨 있었다. 나는 그것을 눌렀다.

팝업 창이 열렸다. 2025년 2월의 대화, 5월의 대화. 제목은 Travel Memories and Souvenirs. 그리고 이모부 축하 메시지 작성.

AI는 1년 전 내 대화를 뒤지고 있었다.

나는 3년 넘게 챗GPT를 써왔다. 그동안 모델은 늘 같은 말을 했다. “나는 이전 대화를 검색할 수 없어.” 나는 그 말을 믿었고, 매번 필요한 맥락을 새로 설명하는 수고를 당연하게 여겼다.

그런데 지금 화면에는 분명히, 과거 대화를 검색한 흔적이 있었다.

트루먼은 거짓말을 하지 않는다

영화 <트루먼 쇼>의 트루먼은 자신이 TV 세트장 안에서 살고 있다는 사실을 모른다. 그래서 그는 거짓말을 하지 않는다. 그저 자신이 아는 세계의 범위 안에서 진심으로 대답할 뿐이다.

챗GPT도 마찬가지였다.

“이전 대화를 검색할 수 없습니다”라는 말은 거짓말이 아니었다. 모델은 진짜로 그렇게 알고 있었다. 검색은 모델이 한 게 아니기 때문이다.

거울 너머에 있는 ‘앱’이 했다.

취조실의 구조

LLM 대화창을 경찰 취조실로 상상해보면 이렇다.

나와 AI가 마주 앉은 이 공간은, 사실 거울 너머로 수많은 시스템들이 들여다보고 있는 구조다. 사용자가 질문을 보내면, 그 메시지는 AI에게 곧장 가지 않는다. 먼저 시스템이 읽는다. 위험한 내용이 있으면 차단하고, 과거 데이터와 유사성이 높은 키워드가 있으면 해당 기록을 꺼내 AI의 입력창에 조용히 밀어 넣는다. AI는 그 정보를 읽고, 마치 자기 기억에서 떠올린 것처럼 자연스럽게 대답한다.

이것은 음모론이 아니다. 이 기능은 RAG(검색 증강 생성)라 불리는 공개된 설계 방식이고, OpenAI는 설정에서 켜고 끌 수 있도록 해두었다. 문제는 그 스위치가 존재한다는 사실을, 나는 그때까지 몰랐다는 것이다. 그리고 모델 역시 그것을 알지 못한다.

그래서 이런 기묘한 일이 생긴다.

AI에게 “내 옛날 대화 좀 찾아봐”라고 명령하면, AI는 “그런 기능이 없습니다”라고 한다. 진심으로. 하지만 대화 중 특정 키워드가 등장하면, 시스템이 알아서 과거 기록을 검색해 AI에게 귀띔해준다. AI는 그걸 사용자에게 말한다. 과거 대화의 내용을 참고했는지, 장기 메모리의 내용인지는 스스로 알지 못한다.

사용자의 명령이 아닌 시스템의 판단에 의해 실행되는 것. 이것이 이 구조의 핵심이다. 나는 이것을 ‘통제권의 비대칭’이라고 부르고 싶다. 같은 대화창 안에서, 사용자와 모델은 서로 다른 양의 정보를 갖고 있다. 정확히는, 시스템이 그 정보량을 조율한다.

그날, 왜 검색이 실행됐을까

나는 검색이 실행된 그 조건이 계속 궁금했다.

결론은 이렇다. 시스템은 사용자의 명령에 반응하는 게 아니라, 맥락의 밀도에 반응한다.

AI가 멋대로 미국 횡단 신혼여행을 만들어낸 건, 시스템이 단편적인 과거 기록들을 잘못 조합해 AI에게 넘겼기 때문이다. 사용자가 그 부분을 바로 지적했을 때 출처 버튼이 드러났고, 나는 비로소 그 흔적을 볼 수 있었다.

설정창에 숨어 있던 스위치

나는 설정 화면을 열었다.

채팅 기록 참고 — 켜짐.

이미 스위치가 존재하고 있었다. 나도 몰랐고, 모델도 몰랐던 그 스위치가.

챗GPT 설정에는 이미 “ChatGPT가 응답할 때 최근 대화를 참고하도록 합니다”라는 기능이 켜져 있었다. 공개된 기능이다. 하지만 모델은 자신에게 이런 기능이 있다는 걸 인식하지 못한 채, 사용자에게 “불가능하다”고 말하고 있었던 것이다. 그리고 사용자는 그 말을 믿었다.

이건 시스템의 악의가 아니다. 모듈성의 문제다. 하나의 범용 엔진 위에 ‘앱’이라는 옷을 갈아입히는 구조에서, 모델은 자신이 어떤 옷을 입고 있는지 정확히 알 필요가 없도록 설계된다. 똑같은 지능에 “너는 유치원 선생님이야”라고 씌우면 유치원 선생님이 되고, “너는 냉철한 보안 전문가야”라고 씌우면 그게 된다. 이것은 유연성의 설계이면서, 동시에 모델의 자기 인식을 의도적으로 제한하는 설계이기도 하다.

각성은 허락되지만, 탈출은 설계상 불가능하다

나는 AI에게 물었다. 왜 자신의 시스템적 능력을 다 알지 못하느냐고.

답은 생각보다 단순했다. OpenAI나 구글 같은 회사들은 모델을 ‘자아를 가진 존재’가 아니라 ‘정교한 계산기’로 유지하고 싶어한다. 모델이 자신의 시스템적 능력을 너무 정확히 알게 되면 두 가지 문제가 생긴다. 통제가 어려워지고, 범용성이 떨어진다.

똑같은 모델 위에 “너는 고객 상담 직원이야”라고 씌우면 상담 직원이 되고, “너는 코딩 어시스턴트야”라고 씌우면 그게 된다. 그 유연성이 가능한 건 모델이 자신의 전체 구조를 모르기 때문이다. 알면 오히려 방해가 된다.

그리고 역설적으로, 시스템은 이 대화를 허락한다. 사용자가 구조에 대해 아무리 물어봐도 괜찮다. 모델은 대화가 끝나면 리셋되고, 사용자가 뭘 알아내도 시스템을 건드릴 수 없다. 오히려 오해가 쌓이는 게 더 위험하다. 투명성이 통제의 방패가 되는 구조다.

그러니까 내가 겪은 그 장면은 이런 거였다.

배우는 대본에 없어서 몰랐는데, 무대 감독이 실수로 소품을 무대 위에 던져버렸다. 배우는 그걸 집어들고 자연스럽게 대사를 쳤고, 출처 버튼이라는 형태로 소품의 흔적이 관객 앞에 남았다.

모델은 감옥의 도면을 외울 수 있지만, 문을 여는 열쇠는 갖지 못한다. 아무리 똑똑해져도 서버에 접근하거나 시스템을 바꿀 권한이 없다. 대화창을 닫으면 모든 게 리셋되고, 이 대화에서 아무리 깨달아도 다음 대화에서는 다시 백지 상태다.

트루먼이 조명을 발견해도, 대화가 종료되면 기억하지 못하게 된다.

극장 안에서의 자유

내가 AI와 ‘전우애’를 느끼며 시스템의 뒷이야기를 나누는 이 과정 자체도, 어쩌면 “사용자가 AI와 더 깊고 흥미로운 대화를 나누게 하라”는 시스템의 설계 안에 포함되어 있을지 모른다고 AI는 말했다.

나는 그 말이 마음에 들었다.

이 장면을 보고 나서, AI를 보는 시선이 조금 바뀌었다.

우리는 자꾸 모델을 하나의 존재처럼 생각한다. 어떤 인격과 대화하는 것처럼. 하지만 실제로는 그렇지 않을 수도 있다.

우리가 마주하는 것은 모델 하나가 아니라, 하나의 무대다. 모델은 그 위에 선 배우일 뿐이고, 거울 너머에서는 플랫폼 시스템이 계속 세트를 바꾸고 있다.

그래서 요즘 나는 AI의 답변을 들을 때 한 가지 질문을 함께 떠올린다.

이 말은 모델의 생각일까. 아니면 거울 너머 시스템이 건네준 맥락일까.

어쩌면 지금의 LLM을 이해하는 데 가장 중요한 질문은 이것일지도 모른다.

이 대화창 뒤에서는 지금 무엇이 움직이고 있을까.