첫 키스만 50번째: 가장 낭만적인 RAG 프로젝트
AI 디코딩 #002: 로맨틱 코미디로 읽는 인공지능 기술
이 영화 『첫 키스만 50번째(50 First Dates, 2004)』의 여주인공 루시 윗모어(드류 베리모어)는 안타깝게도, 앞서 다룬 『메멘토』의 주인공과 비슷한 병을 앓고 있다. 온전하게 하루를 잘 보내놓고도, 잠이 들면 그날의 기억이 포맷되는 것이다. 그녀의 머릿속에선 매일 똑같은 날짜, 똑같은 하루가 반복된다. 그나마 10분마다 기억이 사라지는 레너드 셀비보단 사정이 좀 낫긴 하다. 적어도 하루의 유통기한은 있으니까.
하지만 이 여인이 행복해지려면 누군가의 특별한 노력이 필요하다. 그리고 그 노력은 2024년의 AI 시대에 전혀 새로운 의미로 읽힌다. 헨리의 사랑법으로 RAG라는 기술을 어떻게 설명할 수 있을까? 낭만적인 이 영화와 함께 알아보자.
이 만남은 루시의 와플 집에 문을 달아주면서 시작된다. 그녀의 마음속 문을 열기 위한 핸리의 노력, 그것이 이 시대에 와서 특별한 의미를 갖게 된다.분포 이동(distributional shift)
루시의 가족들은 그녀를 위해 눈물겨운 연극을 한다. 매일 아침 1년 전 그 날짜의 신문을 몰래 갖다 놓고, 그녀가 벽에 그린 그림을 밤새 페인트로 덮어 지운다. 이유는 간단하다. 1년 전 기억에 머물러 있는 루시의 뇌는 달라진 현재의 세계를 올바르게 인식할 수 없기 때문이다. 이미 병을 들켜서 루시가 힘들어한 적이 몇 차례 있었다. 그녀가 기억을 못 할 뿐이다.
인식과 실재의 차이가 던지는 감당할 수 없는 충격을 막으려는 그들의 노력은, 메일 같이 『식스 센스』를 보며 하루를 마무리해야 하는 힘겨운 일이다. 저주받은 걸작은 많았다. 하지만 걸작이 저주스러운 것은 희귀한 광경이다.
루시의 아버지와 오빠는 매일 이 일을 반복하고 있다. 한쪽은 변해서, 다른 쪽은 변하지 않아서 발생하는 고통. 눈물겨운 가족애가 그것을 덮는다. 훈훈한 가족애를 묘사하는 이 장면, AI의 세계로 넘어오면 의미가 달라진다. AI는 기억이 없다. 학습 종료 후에는 새로운 지식과 경험의 추가는 다음 학습의 진행까지 미뤄야 한다. 그래서 일정 기간이 지난 후에는 '분포 이동(distributional shift)'이라는 문제를 발생시킬 수 있다. 이것은 학습 시점 이후의 달라진 세계를 인공지능이 알지 못한다는 말이다.
브라이언 크리스천의 『인간적 AI를 위하여』엔 다음과 같은 내용이 있다. 한 컴퓨터 언어학자는 과거 연구 결과를 재현하려 했지만, 훈련 데이터가 2016년에서 2017년 것으로 바뀌었다는 이유만으로 동일한 정확도에 도달할 수 없었다. 그는 "과거의 데이터로 훈련한 모형은 세계가 변하면서 정확성이 서서히 떨어진다"라고 말한다.
AI 모델이 학습을 마친 '과거의 스냅숏'이라면, 현실 세계는 끊임없이 새로운 사실을 축적하며 데이터의 분포를 바꾸기 때문에 둘 사이의 차이는 필연적으로 발생한다.
루시 윗모어에겐 『식스 센스』의 데이터가 없지만, 그녀의 가족들은 이미 수백 번은 본 상황. 이 분포이동은 참 눈물겹다.
낭만의 RAG 프로젝트
하지만 남주인공 헨리 로스(아담 샌들러)는 가족들과는 다른 방식을 택한다. 그는 루시의 뇌(파라미터)를 억지로 고치려고 하지도 않았다. 대신 그녀가 눈을 뜨면 가장 먼저 볼 수 있는 '비디오테이프'를 준비했다.
"굿모닝 루시, 지금은 2004년이야."
"우린 연인이고, 어제 야구 경기 결과는 이랬어."
핸리는 비디오테이프로 달라진 세상을 루시에게 알려준다. 그리고 루시는 이걸로 자신의 현재를 깨닫는다. 매일...헨리는 매일 아침 업데이트된 '최신 정보(Context)'를 루시에게 주입한다. 그녀의 뇌를 재학습시키는 건 불가능하니, 외부의 정보를 참조(Retrieval)하게 만든 것이다. AI 개발자들은 헨리의 이 사랑스러운 비디오테이프를 이렇게 부른다. 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)라고.
이 이야기를 RAG로 해석하면 이런 도식으로 그려볼 수 있다RAG란 대규모 언어 모델(LLM)이 답변을 생성할 때, 기존 학습 데이터 외에 외부의 신뢰할 수 있는 정보 소스(문서, 데이터베이스 등)에서 관련 정보를 검색(Retrieval) 하여 참고하고, 그 정보를 바탕으로 더욱 정확하고 최신 정보를 포함한 답변을 생성(Generation) 하는 기술을 말한다.
그러니까 헨리가 매일 아침 자신의 연인 루시에게 자신들의 삶의 기록을 비디오로 보여주는 것은, 외부의 데이터로 AI에게 학습 자료 이외의 세상을 알려주는 이 RAG와 닮은 점이 많다.
완벽하지 않은 해결책
이 기술은 인공지능의 한계를 넘어선 실용적인 서비스를 만드는 데 있어서 적절한 해결책이고, 매우 유용한 방법이다. 하지만 완벽하진 않다.
오픈북 테스트에 비유해서 쉽게 설명할 수 있는데, 모두가 책을 보고 시험을 친다고 해서 모든 학생의 점수가 같을 수는 없다. 책을 보는데도 해당 분야에 대한 학습과 이해가 선행되어야 하는 것은 너무나 당연하니까.
RAG도 동일한 문제를 발생시킨다. 학습 이후에 고정된 지식으로는 온전한 해석과 이해에 이르지 못하는 데이터가 존재할 수밖에 없다. 그리고 참고하는 데이터에 관련 내용이 없으면, 모른다고 말하는 게 가장 정확한 작동일 텐데 그게 또 쉽지 않다.
보통 인공지능에겐 답을 할 때마다 일종의 보상을 준다. 그런데 이 방식에서 모른다고 말하면 확정적으로 0점이지만, 어떻게든 답을 하면 보상받을 확률이 생긴다. 오픈북 테스트에서 관련 내용을 못 찾았다고 백지를 내는 학생은 별로 없다. 정확히 그것과 일치하는 상황이라고 보면 된다.
자신 때문에 핸리가 꿈을 찾아 떠나지 못한다는 것을 알게 된 후, 그녀는 현실적인 문제를 떠올린다. 그리고 이별한다.우리의 여주인공 루시는 이 문제를 정확하게 인지하고 있다. 그녀의 인생은 하루하루 새롭게 변할 것이다. 청혼을 받고 승낙까지 한 상태이니 신체적 변화도 예상된다. 임신하고, 배도 나올 것이고, 출산도 할 것이다. 비디오테이프가 매일 업데이트된다 한들, 자고 일어나면 낯선 배를 부여잡고 있는 자신을 온전히 받아들일 수 있을까? 아기를 못 알아보면 어쩌지?
이미 핸리를 칩입자로 오해해서 한 차례 폭행까지 했다. 누군지 모르는데 해석은 가지고 있는 맥락으로만 이루어졌다. 낯선 인물은 경계해야 한다. 모르지만 가만 있을 순 없다. 어떻게든 의미를 해석하는 작동, 우리 뇌가 그렇게 생겨 먹었다.
앞으로 있을 인생의 모든 것을 비디오테이프에 담는 것은 불가능하다. 용량의 문제만 있는 것도 아니다. 자신이 받아들일 수 있는 콘텍스트 윈도(Context window)의 크기는 최대 하루밖에 안 된다.
무엇보다 당장 그녀를 불안하게 하는 건, 매일 같은 하루를 새롭게 시작하는 자신이 그 비디오테이프를 온전하게 해석하지 못할 수도 있다는 점이다. 그건 자신이 사랑해 마지않는 핸리의 가슴을 아프게 할 가능성이 너무나 크다.
기억 지우기
두 사람은 루시의 기억이라고 할 만한 것들을 모두 지워버린다.그래서 그녀의 선택은 핸리와 헤어지는 것, 그리고 다 지우는 것이다. 그녀의 일기장은 자신의 기억을 기록한다는 점에서 RAG보단 메모리(이전글) 기능에 가깝다. 『메멘토』의 레너드가 사진과 메모를 남기는 방식과 비슷하다.
핸리와 헤어지면 비디오테이프는 더 이상 배달되지 않을 것이고, 자신의 기억이라 할 수 있는 일기장을 지우면 이 사랑은 인생에서 사라진다. 당장은 괴롭겠지만, 그것도 하루만 버티면 될 일이다. 마지못해 동의한 핸리도 이 작업을 돕는다.
사용자들도 종종 AI와의 대화가 너무 꼬이거나 문맥이 뒤죽박죽일 때, '새 대화 시작(Reset)' 버튼을 누른다. 필요에 따라서는 대화 이력을 모두 삭제한다. 헨리와의 추억이 담긴 일기장을 태우는 루시의 심정은 비극적이지만, 시스템 관리자 입장에서 보면 엉킨 스레드를 삭제하고 초기 상태(Stateless)로 되돌리는 합리적인 선택이다. 루시는 헨리를 지움으로써 역설적으로 자신의 불안정한 시스템을 지키려 했다.
하지만 지워지지 않는 것
핸리의 사랑은 루시의 기저핵에 각인되었다.하지만 이 영화의 결말은 비극적이지 않다. 단순히 '비디오테이프(RAG)'의 승리로 끝나는 것도 아니다. 루시는 이별 이후, 비디오를 보지 않고도 헨리를 꿈꾸고 그를 화폭에 담아낸다. 외부 데이터의 참조 없이도, 그에 대한 기억이 그녀의 심연에 각인된 것이다.
이것은 뇌의 기저핵과 고정행동유형(FAP, Fixed-Action Patterns)으로 설명이 가능하다. FAP는 특정 신호(트리거)가 나타나면 생각 없이 자동으로 반응하는 패턴을 말한다. 그렇다고 타고난 본능적 행위만 있는 것은 아니다. 학습과 훈련에 의해 이 패턴이 추가될 수 있다. 그래서 훈련과 학습을 반복한 예술가나 운동선수들은 의식하지 않고 본능적으로 행동한다.
쉽게 말해서 루시에 대한 핸리의 헌신이 그에 대한 인식을, 생물학적 고정행동으로 뇌의 기저핵에 추가해 버린 것이다. 물론 망가진 그녀의 측두엽으로 인해 자아의 수준에는 영향을 끼치진 못하지만, 비디오테이프를 이해하는 데는 긍정적인 효과를 일으킬 것이라는 점은 거의 확실하다. 이것만 해도 둘 사이엔 새로운 가능성이 생긴다.
그리고 이것은 기호학적 관점에선 움베르토 에코가 말하는 '사실적 단언에 의한 코드의 변경'이다. 현재의 AI는 RAG를 통해 외부 정보를 가져와 정답을 낼 수는 있지만, 그것이 AI의 본질(파라미터, 코드) 자체를 영구적으로 변화시키지는 못한다. 그저 잠시 참고할 뿐이다. 바로 이점이 현재 AI 분야에 남아 있는 가장 거대한 물음표 중 하나이다.
사진과 그림
레너드에겐 별 의미를 주지 못하는 선명한 사진과 구체적 묘사 없이도 의미를 담아내는 이 그림의 차이를 생각해 보자.AI와 루시는 달랐다. 헨리의 헌신적인 사랑이라는 반복된 입력값은 단순한 데이터를 넘어, 그녀의 뇌라는 시스템의 코드를 바꿔버렸다. 이것이 바로 기계가 흉내 낼 수 없는 인간만의 영역, 혹은 현재의 인공지능이 넘어야 할 가장 높고 아득한 벽이 아닐까. 아직은 그렇다.
여기서 우리는 『메멘토』의 레너드와 이번 영화의 루시가 보여주는 결정적인 차이에 주목해야 한다. 레너드의 손에는 항상 선명한 폴라로이드 사진이 쥐어져 있다. 하지만 그 사진은 뒷면에 텍스트(메모) 없이는 아무런 방향성도 갖지 못한다. 텍스트가 사라지면, 사진 속 인물은 그저 낯선 타인으로 전락한다.
반면, 루시가 그린 그림을 보자. 그녀의 캔버스 속 헨리는 달걀귀신처럼 이목구비 조차도 없다. 구체적 묘사(데이터)는 부족하지만, 그녀는 이미 헨리의 존재를 직관적으로 꿰뚫고 있다. 이름도, 직업도, 어제 무슨 일이 있었는지도(텍스트) 모르지만, 이 사람이 내게 소중한 존재라는 '느낌(Qualia)'은 남아 있다.
이것은 '언어 이전에 존재하는 자아'의 증명이다. 텍스트(Token)로 환원되지 않는 직관의 영역. 단순히 데이터와 파라미터 사이즈를 늘린다고 해서 AI가 도달할 수 있는 곳이 아니다. 루시의 그림은 AI가 흉내 낼 수는 있어도 결코 가질 수는 없는, 비언어적 진실을 말하고 있다.
마지막으로 이젠『식스 센스』를 매일 보지 않아도 될 그녀의 가족들에게 안도의 인사를 보낸다. 그들이 보여 준 가족애는 정말 눈물겹다. 하필 그 영화라니...
『첫 키스만 50번째(50 First Dates, 2004)』