“AI 시대, 나는 왜 예언자가 되려 하는가”
도입보다 정착이 더 어려운 시대, 나는 연결을 설계한다.
모두가 말하지만, 아무도 실행하지 않는 시대
모두가 AI를 이야기하는 시대입니다. 하지만, 정작 실행하는 이는 얼마나 될까요? GPT가 처음 등장한 이후, 모든 조직은 AI를 말합니다. AI 전략, AI 도입, AI 전환... 그런데 문득 이런 질문이 떠오릅니다.
왜 그렇게 많은 전략이, 현장에선 체감되지 않을까?
AI 기술은 급속히 발전했는데, 왜 조직은 그대로일까?
우리는 정말 AI를 ‘이해’하고 있는 걸까, 아니면 그냥 따라가는 걸까?
이 질문들 속에서, 저는 ‘도입’이 아닌 ‘정착’과 ‘정렬(alignment)’의 문제를 보기 시작했습니다. 바로 그 지점에서 저는 ‘예언자처럼 생각하는 사람’이 되어야겠다고 느꼈습니다.
AI 전략의 시작은 기술이 아니라 사람이다
우리 회사는 올해 초 AI와 관련한 전문가가 아닌 일반 직원들로 구성된 AI Working Group을 만들었습니다. 조직을 디자인하기 위해 PM 역할을 맡은 저는 가장 먼저 ‘구조’를 고민했습니다. 기술 도입 이전에, 조직의 현실과 문화, 그리고 심리적 저항을 먼저 살펴야 했기 때문입니다. 그래서 제가 세운 전략은 단순했습니다.
① 도메인 전문가 중심의 구조
기술은 문맥 없이 작동하지 않습니다. 현장의 복잡성과 사례를 가장 잘 아는 사람, 바로 도메인 전문가입니다.
② 파워유저 육성 전략
AI는 강요해서 전파되지 않습니다. 자발적으로 실험하고 확산할 수 있는 사람을 ‘감염자’로 설정했습니다.
③ 접근성을 낮추고 실험을 일상화
작은 데모, 실사용 중심의 툴 체험 등을 통해 "AI는 거창한 게 아니라, 바로 내 일상 속 도구"라는 감각을 조직에 전달하려 했습니다. 이것은 기술 전략이 아니라 조직 심리 설계였습니다.
AI가 ‘도입’되려면, 조직 전체의 신경망 속으로 흘러들어야 합니다. 기술이 아니라 문화부터 설계해야 한다는 것이 저의 예언이었습니다.
LLM과 RAG, 그리고 문서의 미래
요즘 저는 개인적으로 LLM과 RAG 아키텍처를 실험하고 있습니다.
실험의 기술 구성:
LLM (Large Language Model): 인간처럼 언어를 생성·이해하는 대규모 모델
RAG (Retrieval-Augmented Generation): 외부 지식을 검색해 활용하는 LLM 응용 방식
구성 요소: 오픈소스 LLM + Docker + 벡터스토어 (Pinecone, Chroma, Weaviate 등)
그런데 실험 중 마주한 현실은 이랬습니다:
대부분의 문서가 여전히 .docx, .xls, 이메일 첨부파일 속에 존재
내용은 많지만, 버전 관리가 되지 않음
문서 간 연결이 없고, LLM이 문맥을 해석할 수 없는 구조
이러한 문서 구조는 LLM과 RAG의 잠재력을 제한합니다. 문서를 벡터화하려면, 그 이전에 문서를 벡터화하기 좋은 방식으로 작성해야 합니다. 문서가 바뀌지 않으면, AI는 있어도 지식은 죽은 채로 남습니다.
벡터화를 위한 구체적인 문서 작성 방법은:
단편적인 파일 작성에서 벗어나 토픽 중심의 구조화된 작성
문서 제목뿐 아니라 의미 있는 메타데이터와 요약 포함
문서 간 하이퍼링크, 참조, 문맥 정보 명시
버전 관리 시스템과 통합된 작성 환경
문서의 벡터화는 단순한 기술적 변환이 아닙니다. 문서를 ‘AI가 이해할 수 있는 말’로 바꾸는 과정입니다. 그렇게 해서 문서는 죽은 정보가 아니라, 대화 가능한 지식으로 진화합니다.
조직 전체의 ‘RAG Ready 상태’를 만들기 위한 도전적인 제안
그래서 저는 내부 보고서를 준비하고 있습니다. 목표는 하나입니다. 우리 조직이 RAG-Ready, 즉 ‘LLM 기반 지식 아키텍처에 적합한 상태’로 전환되는 것.
전환을 위한 제안:
모든 문서의 마크다운 기반으로 작성: 표준화 버전 관리, 협업, 벡터화, LLM 처리를 고려한 포맷 설계, Git/Notion/Obsidian 혹은 비슷한 기능의 저장소 구조 도입
문서 작성 프로세스 재설계: 단순한 기록이 아닌, AI가 학습하고 응답할 수 있는 형태로의 전환. 그리고 작성 가이드라인과 템플릿 설계 후 배포
조직별 미니-RAG 실험팀 운영: Docker 기반 RAG 구성 (LLM + LangChain + 벡터스토어)하여 부서별 자산을 인덱싱 하고, 검색 가능한 대화형 문서 시스템 실험
이러한 시도는 기술적 전환이 아니라 조직의 뇌를 다시 배선하는 작업입니다. 지금의 문서 구조는 조직의 ‘단기 기억’에 가깝습니다. RAG 기반 조직은 그것을 ‘장기 기억’으로 전환합니다.
그래서 나는 왜 예언자가 되려 하는가?
저는 CTO도 아니고, 개발자도 아니고, 데이터 과학자도 아닙니다. 하지만 저는...
기술과 사람 사이를 연결하고
실행 가능한 구조를 설계하며
흐름을 미리 감지해 구조로 표현하는 사람입니다
그래서 저는 ‘예언자’가 되어야 한다고 생각합니다. 기술보다 먼저, 조직의 심리와 구조를 읽고, 아직 오지 않은 것을 미리 상상해 설계하는 사람. 지금 우리가 사는 시대는, 누군가는 앞서서 말하지 않은 것을 말하고, 아직 오지 않은 것을 구조로 그려야 하는 시대이기 때문입니다.
마치며: 기술을 연결하는 사람이 결국 미래를 만든다
AI 시대에는 기술만으로 충분하지 않습니다. 기술은 명령 없이도 자율적으로 작동하지만, 그 기술을 ‘어디에 어떻게 써야 하는가’를 설계하는 것은 여전히 인간의 직관입니다. 나는 그 직관을 믿습니다.
정보의 흐름을 읽고, 기술을 맥락에 맞게 배치하고, 사람들이 두려움 없이 움직일 수 있는 환경을 설계하는 힘.
그게 바로 ‘AI 시대의 예언자’가 해야 할 일입니다.
