정보가 쌓이면 지식이 되고 지식이 쌓이면 지혜가 된다
AI - Agent도 skill도 prompt도 저장이 중요하다
오늘 오후 트윗 하나를 읽다가 멈췄다.
Andrej Karpathy — OpenAI 공동창업자이자 Tesla AI 책임자였던 카파시가 이런 트윗을 남겼다.
"나는 최근 LLM 토큰을 코드보다 지식 관리에 더 많이 쓰기 시작했다."
https://x.com/lucas_flatwhite/status/2039979361550622910?s=20감회가 달랐다. 나는 코드를 짜는 것 보다 내 뇌를 그대로 복사할 수 있는 AI를 만드는 것에 에너지를 투입하고 있었고, 그것을 위해서는 기억, 지식 저장소가 확보가 되어야 한다고 생각했다. 그래서 옵시디언에 저장하고 브런치에 글을 쓰고 X에 아티클을 지속적으로 남기는 이유다. 카파시는 세상에서 코드를 가장 잘 쓰는 사람 중 하나가, 요즘 AI를 코딩보다 지식 관리에 더 많이 쓴다고?
읽으면서 고개가 끄덕여졌다.
아니, 솔직히 말하면 같은 목표를 바라보는 사람이 있다는 것에 기분이 좋았다.
그래서 그와 나의 공통점을 위주로 해서 설명해보고자 한다.
그가 만든 시스템
방식은 단순하다.
원본 자료(논문, 기사, 레포, 이미지)를 한 폴더에 쌓아둔다. 그러면 LLM이 그걸 읽고 마크다운 위키로 컴파일한다. 개념별로 문서를 작성하고, 서로 연결하고, 인덱스를 관리한다. 결과물은 Obsidian으로 열람한다.
나와 너무나도 동일하였기에 기분이 좋았다가 이 방식은 누구나 하고 있을 것이라는 결론에 도달했다.
돌아가서 핵심은 이거다. 사람이 위키를 직접 편집하지 않는다. LLM이 지식의 오너가 된다.
나는 처음 이 구조를 만드려고 했을때, 가장 강조하고 싶었던 것은 규모였다. 약 100개 문서, 40만 단어 수준에서도 복잡한 검색 시스템 없이 에이전트가 알아서 인덱스를 관리하며 답을 찾아내게 하는 것.
그런데 카파시도 똑같았다.
"fancy RAG를 써야 하나 생각했는데, LLM이 인덱스 파일과 요약본을 잘 관리해서 관련 데이터를 꽤 쉽게 찾아냈다."
왜 이게 다른가
나는 매일 엄청난 정보를 소비한다. 하나하나 다 읽어보려고 한다. 그러나 보지 않는 것들도 많다.
뉴스레터, 트위터, 유튜브, 논문. 그런데 일주일 후 그 중 몇 퍼센트를 기억하고 있는가? 라는 질문에 선뜻 답 하지 못했다. 당장 어제 먹은 점심도 뭐였는지 기억을 바로 하지 못한다.
즉, 기존 방식의 문제는 명확하다. 노트 앱에 저장하면 다시 열지 않는다. 즐겨찾기는 쌓이기만 한다. 하이라이트는 컨텍스트가 사라진다.
카파시도 나도 같은 접근을 봤다 중요한건 "저장"이 아니라 "컴파일"이라고, 원본을 그냥 넣어두는 게 아니라, LLM이 자료들 사이의 연결을 만들고, 개념을 추출하고, 내가 묻기도 전에 새로운 질문을 제안한다. 내가 모르는 연결을 찾아주는 사람. 그게 사서다.
이전 브런치 글에 옵시디언의 그래프뷰를 올린 적이 있다.
현재는 더 방대해졌다.
진짜 힘은 루프에 있다
이 시스템의 본질을 한 문장으로 표현하면 이렇다.
쿼리를 할수록 위키가 풍부해지고, 풍부해진 위키가 더 나은 답을 만들어낸다.
더 쉽게 표현하면 "정보가 쌓이면 지식이 되고 지식이 쌓이면 지혜가 된다"는 말과 동일하게 보면 좋을 것 같다. 지식이 스스로 쌓여가는 구조다. 그럼 그 이후의 가장 큰 자산은 바로 '질문'이 된다.
AI를 잘 쓰기 위해서는 '질문'을 잘 하면 된다고 설명하는 이유가 여기에 있다.
이걸 에이전트에 적용하면 흥미롭다. 잘 정리된 파일 구조와 자체 인덱스만 있다면, 모든 걸 거대한 텍스트의 집합체인 프롬프트에 밀어 넣어서 억지로 진행시키는 방식보다 훨씬 저렴하고 투명하게 운영할 수 있다. 무한한 컨텍스트 윈도우가 해답이 아니라, 좋은 정리 습관이 해답일 수 있다는 것이다.
솔직히, 나도 비슷한 걸 하고 있었다
나도 이미 Obsidian을 쓰고 읽고 정리하고 답변하고 확장 지식으로 더 나은 답변을 만들어 낼 수 있는 OpenClaw, Hermes Agent, Claude 코드를 만들기 위해서 어마어마한 토큰을 소모하고 있다.
내 처음 목표가 단어로써 명확해졌다. AI와 함께 지식을 쌓고 있다.
URL을 보내면 AI가 분석해서 저장하고, 대화 내용이 메모리로 누적되고, 중요한 결정은 별도 폴더에 기록하고 나에게 반영할 수 있는 것은 무엇인지 분석하고 적용할 수 있도록 해두었다.
단, 카파시의 시스템을 보고 난 후에는 구멍들이 보였다.
AI에게 물어보고 얻은 좋은 답들이 다시 지식베이스로 쌓이지 않고 있었다. 대화가 끝나면 그냥 사라진다. 위키가 오래될수록 모순이 생겨도 아무도 점검하지 않게 된다. AI가 내 위키를 직접 검색해서 활용하는 구조가 없었다. 그래서 갈수록 1M 컨텍스트를 사용하지 않는 LLM은 계속 할루시네이션이 발생했다.
계속 엉뚱한 답을 내 놓고 "아 맞다" "아 맞어 그렇게 설명했지?"라는 뻘 소리를 하고 있어서 하루에도 감정소모가 엄청났다. 그리고 감정소모가 많다는 것은 토큰소모도 어마어마하다는 뜻이다.
Claude MAX x20을 사용함에도 불구하고 일일 사용량 한도가 4시간~5시간 정도 작업이면 그냥 끝이 난다.
그래서 바꿨다. 이제 중요한 대화는 자동으로 lessons 폴더에 편입되고, 위키 건강을 주기적으로 점검하는 스크립트를 만들었고, AI가 대화 중 위키를 직접 검색해서 참고하는 구조를 얹었다.
쓸수록 나를 더 잘 아는 지식 도서관의 사서를 만든 것이다.
이후로 AI가 나에게 출력하는 답변의 퀄리티가 몰라보게 달라졌다.
알아서 부족한 점을 찾고 과거에 진행하지 못한 프로젝트 작업을 알려주면서 이걸 하지 않았기 때문에 ~~~ 문제가 생긴 것이라고 말해주기 시작했다.
카파시는 글 말미에 이런 말을 했다.
"여기에 해킹 스크립트 모음이 아닌, 정말 대단한 새 제품이 나올 여지가 있다."
동의한다. 아직은 각자 파이프라인을 뚝딱거리며 만들어야 하는 시기이다. 쉽게 지금은 어른들의 장난감이지만, 이게 사업적인 구멍을 보는 기회를 누군가가 보게 되고 투자를 받았는데 1인 기업이다. 근데 50억의 기업가치를 가지고 있다. 하는 소식이 들리기 시작한다면? 그때부터는 새로운 벤처붐이 일어날 것이라 생각한다. 바로 1인 기업이고 기업가치의 새로운 척도가 될 수 있다. X를 하다보면 한국보다는 미국, 중국 이용자들의 아티클과 트윗을 자주 보는데, 보다 보면 이게 제품이 되면 어마어마할 것 같다는 아이디어들이 Git으로 공유가 되고 있다. 그리고 조금씩 상품화 또는 제품화를 위한 움직임이 나오고 있다. 갑작스럽게 폭발적으로 늘어날 것으로 예상이 된다.
그 이유가 하나 더 있다. 바로 해커톤 대회들이 나오고 있는 이유다. 스멀스멀 가동이 되기 시작했다. 해커톤 대회에 기업의 HR 담당자 그리고 CTO 분들이 나와서 AI 에이전트 및 프롬프팅 엔지니어들을 유심히 관찰하고 있다고 한다. 즉, 영입을 위한 활동을 하고 있다.
다시 원문으로 돌아가 내 옵시디언이 지금 하고 있는 역할은 도서관 사서와 비슷해졌다. 단순 책을 읽어주는 존재가 아니라, 내가 어떤 사람인지, 무엇이 궁금한지, 어떤 맥락에서 질문하는지를 알고 내가 모르는 연결을 찾아주는 존재로 업그레이드를 지속하고 있다.
그와 함께 수익 파이프라인인 자동 주식, 코인 트레이딩 봇도 지금은 마이너스 비율이 높지만 조금씩 나아지고 있다. 기다려주기만 하면 된다. 스스로 학습하도록 세팅을 해두었으니.
그리고 더 방대한 자료가 생성되고 그 연결을 만들어내고 지속한다면, 그리고 AI가 내가 상상하는 그 역할을 할 수 있다면? 가장 먼저 해야할 것은 지식을 쌓는 작업은 끊임없이 지속하고 연결하는 작업은 계속해야한다.
뇌를 확장한다는 표현이 과장처럼 들렸는데, 직접 써보니까 아니라는 것을 경험 중이다.