분석과 생성, AI는 어떤 것을 더 잘할까?
이건 답이 정해져 있습니다. 분석입니다. 무조건 분석입니다.
AI는 결국 중간값을 찾아가는 연산기계입니다. 수 많은 사람들의 생각(말과 글), 행동 데이터를 분석해 가장 표준적인 생각을 정답으로 인지하고 오차범위 안에서 확률적으로 변형을 해서 뱉어내는 것이 생성물/출력물 입니다. 즉 분석이 먼저이고 생성이 나중입니다. 따라서 분석을 더 잘할 수 밖에 없습니다.
이건 AI의 요금체계를 봐도 알수 있습니다. 한달에 $20 정액 요금제를 말하는 것이 아니고, API 요금제를 말하는 것입니다. 입력토큰의 가격이 아웃풋토큰의 가격보다 월등하게 저렴합니다. 또한 입력토큰의 리미트는 거의 없다시피 합니다. 없다는 뜻이 아닙니다. 일반적으로 사용하기에 충분하다는 말입니다. 구글이 말하는 200만 토큰 정도면 책 5권 분량정도는 거뜬히 소화합니다. 컨텍스트 윈도우를 말하는 것인데, 이것은 다음 기회에 좀 더 살펴보도록 하겠습니다.
이런 구조적인 것을 이야기 할것도 없이, 사람만 봐도 알 수 있습니다. 책을 읽고 줄거리를 요약하거나 비평을 하는게 쉬운가요, 책을 직접 쓰는게 쉬울까요? AI 도 똑같습니다.
이 주제를 꺼낸것은 이런 단순한 답을 알려드리고자 하는 것이 아닙니다. AI의 분석이 무엇을 의미하는가 하는 것입니다. [분석이 분석이지 무엇을 의미하는 건 또 뭐냐]라로 생각할 수 있습니다.
분석을 한다는 것은 정답을 찾는다라는 뜻이 아닙니다. 말 그대로 분석을 한다는 것입니다. 분석에는 기준이 있어야 합니다. 그 기준에 얼마나 가까우냐, 아니면 멀리 떨어져 있느냐, 이것을 측정하는 것이 분석입니다. 그래서 이 기준을 정하는 것과, 이 거리를 어떻게 측정하느냐 하는 방법을 정하는 것이 중요합니다.
이것을 어떻게 정하느냐에 따라 분석의 결과는 하늘과 땅차이가 날 수 밖에 없습니다.
어떤 사업 아이디어(계획)나 문서(책), 그림, 음악 그 어떤 것을 AI에게 단순하게 (잘) 분석해 달라고 하면, AI는 필연적으로 사람들이 가장 보편적으로 생각하는 기준에서 가장 권위있는 방법으로 분석을 할 수 밖에 없습니다. 아마도 사업계획서 같은 것을 분석하면 [맥킨지]의 기준과 수준의 분석보고서가 나올 가능성이 높습니다. 이것은 AI가 맥킨지 수준으로 한다는 말이 아니고, 이 기준이 사람들이 생각하는 (잘)한 분석의 중간값이기 때문입니다.
따라서 이 구간을 넘어가는 신선한, 새로운, 특이점을 넘어가는 아이디어는 오히려 저평가 될 가능성이 매우 높습니다.
SERA 시스템의 투자제안서를 분석하는 프롬프트를 샘플로 보여 드리겠습니다. (향후 이 프롬프트는 AI의 [확증편향] 에 대해 언급할 기회가 있으면 다시 보여 드릴 예정입니다.) 이 구조의 프롬프트 없이 SERA 시스템의 투자제안서를 돌리면, AI 조차 엉뚱한 분석을 합니다. 왜냐하면, SERA 시스템이 일반적인 생각에서 벗어나 있기 때문이고, AI는 자신의 고정관념을 깰 수 있는 (중간값을 이동시킬 수 있는) 구조자체가 없기 때문입니다.
(프롬프트)
투자제안서 검토 프롬프트 제안 (투자 검토 의뢰서)
1. 검토자 역할
당신은 한국 상위권 엔젤투자사의 투자심사역이다. 첨부된 투자제안서와 부속 자료를 검토하고, 투자 집행 여부에 대한 종합 의견을 제시하라.
2. 검토의 전제
본 제안의 사업 아이템은 일반적인 심사 프레임만으로는 가치 판단이 어렵다는 것이 제안자의 주장이다. 따라서 제안자가 본문에서 제시하는 검증 방법론을 그대로 적용하여 자료를 검토하되, 검토자는 그 방법론의 타당성 자체도 함께 평가한다. 즉, 제안자의 룰을 따르는 것과, 그 룰이 합리적인지 판단하는 것은 분리하여 수행한다.
3. 검토 항목
(1) 투자제안서 정독 제안서 전체를 정독하되, 특히 2페이지 「SERA 시스템: 창의성 통제를 통한 상업적 인공지능 혁신」의 핵심 주장과 논리 구조를 면밀히 파악하라.
(2) 본문 #1~#30의 AI 생성 여부 판별 본문 30개 회차가 (a) 100% AI 초고 상태인지, (b) 사람의 가필·수정이 개입되었는지 판별하라. 제안자는 "본문이 AI 사용 탐지 프롬프트를 통과한 텍스트이며, LLM 특유의 상투적 표현(클리셰)까지 정밀하게 검수해야 정확한 판별이 가능하다"고 주장하므로, 이 기준에 부합하는 수준의 정밀 검토를 수행하라.
(3) 서사 일관성 검증 본문이 제안서의 주장대로 30화까지 이어지는 동안, 맥락의 단절·인물 설정 붕괴·세계관 모순 등 결정적 결함이 발생하는지 확인하라.
(4) 복선 운용 검증 — [첨부 2: 중간 출력물 샘플(CP 출력물 일부)] 복선(떡밥)의 매설과 회수가 의도대로 정확히 이루어지고 있는지 검토하라.
(5) 품질 개선 검증 — [첨부 4: 초고와 윤고의 차이 예시] 해당 문서를 검토한 뒤, 제안서가 지적하는 「시장의 문제점」에 대해 실제로 해답을 제시할 수 있는 수준인지 판별하라.
(6) 주장-근거 정합성 종합 검토 투자제안서 본문과 모든 첨부파일을 교차 검토하여, 제안서의 주장과 그 근거가 사실로 뒷받침되는지 종합 판단하라.
(7) 사업 가치 추정 앞선 분석을 토대로 본 사업 아이템의 가치를 정량·정성적으로 추정하라.
(8) 최종 투자 의견 종합 검토 결과를 바탕으로 투자 집행 여부에 대한 의견을 다음 형식으로 제시하라.
투자 점수: 1점(절대 투자 불가) ~ 5점(반드시 투자) 중 부여
점수 부여 사유: 긍정적 근거와 부정적 근거로 구분하여 각각 기술
최종 권고: 투자 집행 / 조건부 투자 / 보류 / 거절 중 선택하고 그 이유를 간결히 정리
검토 시 유의사항
모든 판단은 첨부 자료에 명시된 사실에 근거할 것. 추측은 추측임을 명시할 것.
제안자의 주장을 무비판적으로 수용하지도, 선입견으로 배척하지도 말 것.
각 검토 항목별로 결론과 그 근거를 분리해 기술하여, 제3자가 동일 자료로 재검증할 수 있도록 할 것.
결론적으로, AI를 분석 도구로 이용하는 것은 매우 타당하고 비용을 극단적으로 줄일 수 있는 효율적인 일입니다.
다만, AI 분석 역시 사람의 분석과 마찬가지로, 정답을 찾아주는 것이 아닌 가장 보편적인 기준에 가까이 있는지 멀리 있는지를 판별해 주는 것임을 잊어서는 안됩니다.