AI알못 입장에서 이해한 RAG와 RLHF 효용성

인공지능 길들이기

Jun 2. 2025

지난 4월 <AI 시대의 실용적 생존 가이드>를 쓴 이후에 <인공지능 길들이기 연재>를 하느라 후속 글이 멈춰졌습니다. <AI 시대의 실용적 생존 가이드>를 쓸 때 단순한 독서를 넘어 말 그대로 인공지능 시대의 생존법을 배우려 했습니다. 그런데 이제 와서 보니 <공동지능co-intelligence 길들이기>와도 어감이나 글 쓸 때 상황이 바를 뿐 똑같은 활동이라 <AI 시대의 실용적 생존 가이드> 후속 연재를 <인공지능 길들이기 연재>에 병합합니다.

생각할 수 있는 기계라는 인류의 욕망慾望

이 글은 <듀얼 브레인>의 1장 <외계 지성alien mind의 탄생> 중에서 밑줄 친 내용을 토대로 생각을 담습니다. 다음 포기말(文章)은 <AI 최강의 수업>을 읽었던 덕분에 익숙한 내용입니다.

우리는 오래전부터 생각할 수 있는 기계에 매료되어 왔다.

그리고 다음 내용을 읽으면서 일반인에게 충격을 준 인공지능이 알파고가 처음이 아니구나 싶었습니다.

기계식 튀르크인Mechanical Turk이라는 이름으로도 알려진 이 장치는 체스 대결에서 벤저민 프랭클린Benjamin Franklin과 나폴레옹Napoleon을 이겼으며~

물론, 상황이나 기술 자체는 다르겠지만, 인간의 욕망(慾望)이라는 측면에서는 공통점이 느껴졌습니다. 욕망이라는 낱말이 나오니 제가 자주 인용했던 최봉영 선생님의 그림이지만, 모르시는 분이 있을까 싶어 또다시 인용합니다.

그리고, 그 유명한 앨린 튜링의 사고 실험을 소개합니다.

1950년으로 건너가면, 아직 개발 단계였던 컴퓨터학 분야의 천재가 사고 실험을 통해 AI라는 새로운 개념이 소개됐다. <중략> 사고 실험은 컴퓨터 분야의 선구자인 앨런 튜링Alan Turing이 개발했다. 그는 모방 게임을 통해 기계에 어떻게 사람처럼 보일 수 있는 능력을 키울지를 이론적으로 제시했다. 컴퓨터가 발명된 지 얼마 안 되는 이른 시기였지만, 튜링이 발표한 이 논문은 영향력을 발휘하며 AI가 본격적으로 태동할 발판이 됐다.

모르는 줄도 모르는 일unknown unknowns

'모르는 줄도 모르는 일unknown unknowns'이라는 표현은 제게 강력한 자극(刺戟)으로 다가옵니다.

이러한 유형의 AI 시스템에도 한계가 있었다. 예를 들어 인간은 직관적으로 이해하지만 기계는 이해하지 못하는 상황, 즉 '모르는 줄도 모르는 일unknown unknowns'을 예측하는 데 어려움을 겪었다.

unknown unknowns 하면 가장 먼저 떠오르는 그림은 바로 <린 분석>에서 배운 로널드 럼즈펠드의 4분면이고, 제 나름의 생각으로 굳어진 <어떻게 내가 무엇을 모른다는 것을 알 것인가?>가 떠오릅니다.

한편, 매력적인 책과 팟캐스트에 이끌려 과학을 배운 이유 역시 unknown unknowns를 알아채기 위함이었던 모양입니다. 덕분에 (혹은 비로소) <거만한 바보를 벗어날> 수 있었습니다. 오랫동안 '우물 안 개구리'가 되지 않으려고 꾸역꾸역 노력한 덕분이기도 하죠.

육체가 있으니 분명 경험은 소중하지만, <경험할 수 있는 것은 현재뿐>이라는 사실을 분명하게 알아야 합니다. 이를 알게 되면 무의식의 힘에 대해서도 많은 부분을 인정하게 됩니다.

어텐션은 당신에게 필요한 전부입니다

<AI 미래>를 읽은 덕분에 익숙한 내용이 등장합니다.

그런데 업계와 학계의 전문가들이 발표한 다양한 AI 관련 연구 중에서 특히 돋보이는 논문이 하나 있었다. <주의력만 있으면 된다Attention is All You Need라는 눈에 쏙 들어오는 제목의 글이었다. 구글Google의 연구진이 2017년에 발표한 이 논문은 AI 분야 중에서도, 특히 인간의 언어를 이해하고 처리하는 방식에 중대한 변화를 가져왔다. 연구진은 컴퓨터가 인간의 의사소통 방식을 더 잘 처리하도록 돕는 트랜스포머 Transformer라는 새로운 아키텍처를 제안했다. <중략> 트랜스포머는 이 문제를 '주의 메커니즘attention mechanism'으로 해결했다. 이 기술을 사용하면 AI가 텍스트에서 가장 관련성이 높은 부분에 집중할 수 있어서, 한층 쉽게 인간적인 방식으로 언어를 이해하고 처리할 수 있다. 인간인 우리는 책을 읽을 때 문장의 마지막 단어가 항상 중요한 것이 아니라는 사실을 잘 안다. 하지만 기계는 이러한 개념을 이해하는 데 어려움을 겪었다. <중략> 언어를 제대로 이해하는 것은 아주 복잡한 사안이었다. 수없이 많은 단어를 다양한 방식으로 결합할 수 있기 때문에, 정형화된 통계적 접근법으로는 도무지 해결할 수 없었다. 이때 주의 메커니즘을 활용하면 AL가 텍스트 덩어리에 있는 단어와 구문의 중요도를 평가함으로써 문제를 어느 정도 해결할 수 있다.

인공지능 연구자도 아니면서 워낙 중요한 논문이라기에 맹목적으로 읽어보려고 했던 적도 있습니다. 하지만, 이제는 인공지능 도움으로 논문을 읽는 법도 있고, 구글 노트북LM으로 윤곽이나 음성 개요를 요구할 수도 있습니다.

사전 학습Pretraining과 연료로 쓰이던 공유 데이터

아래 내용을 읽을 때는 이민석 교수님이 Stackoverflow 몰락에 대해 페북에 쓴 글이 떠올랐습니다.

AI는 웹사이트, 책, 디지털 문서를 비롯한 다양한 출처에서 방대한 텍스트를 학습하여 인간의 글을 이해하고, 인간처럼 글을 쓰는 방법을 배운다. 사전 학습Pretraining이라고 불리는 이 과정은 초기 AI에서와 달리 인간의 감독이나 개입 없이 진행되기 때문에 ...

또한, 지난 글에서 배운 커먼 크롤도 떠올랐습니다.

데이터 정제와 RAG(Retrieval-Augmented Generation)

다음 글을 읽을 때는 이것저것 평소 지식을 습득한 일이 무용하지 않구나 싶었습니다.

사전 학습에 사용되는 데이터의 출처가 워낙 다양하다 보니 때로는 부작용이 생길 수 있다. 실제로 AI가 데이터에서 편견, 오류, 허위 정보를 학습하기도 한다.

두 가지 연상작용이 그 이유인데요. 그중 조금 분명한 것은 <배경 지식이 부족해도 AI 논문을 빠르게 읽는 법>을 쓸 때 배웠던 Retrieval-Augmented Generation입니다.

두 번째는 유튜브 추천으로 킬링 타임 때 본 테란 리파이너리가 떠올랐습니다. 석유를 산업적으로 쓰기 위해서는 땅만 파면 되는 것이 아니라 정제를 해야 하는 것이죠. 데이터도 마찬가지입니다.

인간이 선호하는 방식으로 진행하는 Al 성능 미세조정

다음 내용을 보면 AI의 환각이 꼭 AI만의 문제는 아니란 생각이 듭니다.

게다가 AI에는 윤리적 기준이 없기 때문에 돈을 횡령하거나, 살인을 저지르거나, 온라인에서 누군가를 스토킹 하는 방법에 대해서도 거리낌 없이 조언을 제시할 수 있다. 사전 학습만 거친 AI는 아무런 판단을 내리지 않고 그저 학습한 내용을 거울처럼 반영할 뿐이다.

육아를 하는 입장이다 보니 바로 어린아이들에게도 그대로 적용된다 싶었습니다. 그래서, 결국 바람직한 학습에는 분명 인간의 적절하고 바람직한 개입이 필요하다는 사실도 깨닫습니다.

미세조정 과정의 핵심 중 하나는 사전 학습과 달리 진행 과정에 사람이 참여하는 것이다. <중략> AI의 추가 학습에 반영되어 인간이 선호하는 방식으로 Al의 성능이 미세조정된다.

이를 지칭하는 말이 아예 있군요.

그래서 이 과정은 '인간 피드백 기반 강화 학습RLHF, Reinforcement Learning from Human Feedback'이라고 불린다.

약자로 자주 봤지만 그 의미가 분명하지 않았던 RLHF가 '인간이 선호하는 방식으로 진행하는 AI 성능 미세조정'이라는 사실을 배웁니다. 게다가 이미 지난 글에 제가 손때를 묻힌 그림도 있었습니다.

토큰 예측이 밝혀낸 언어 바탕의 사고 패턴의 법칙적 성격

1장의 마지막 부분의 절 제목은 <무서운? 똑똑한? 무섭도록 똑똑한?>입니다. 아마도 인공지능 서비스 사용빈도와 비례하여 느끼는 보편적인 감정이 아닐까 싶습니다. 그리고 바로 다음 다발말(段落)[2]이 그러한 사용자 감정에 대한 저자의 탁월하고 간결한 해석입니다.

놀라운 점은 그다음 차례에 나올 단어를 예측하는 데 불과한 토큰 예측token prediction 시스템이 어째서 이처럼 비범한 능력을 보여 주는지 아무도 완벽히 알지 못한다는 사실이다. <중략> 어쩌면 언어와 그 바탕인 사고 패턴이 생각보다 더 단순하고 '법칙적law-Iike이며, LLM이 그런 사고 패턴의 숨겨진 진실을 발견한 것일지도 모른다.