빙산 앞의 AI, 그리고 우리의 레드라인

2026 All-Day-Project (071/365)

내 글에 이어서 생각하기 041: 서생의 문제의식과 상인의 현실감각 에 이어서

지난 글에서 저는 스타트업을 빙산 지대를 지나는 배에 비유했습니다. 침몰하는 배 위에서 끝까지 연주만 하는 비겁한 낭만주의자(바이올리니스트)가 될 것이 아니라, 배의 멱살을 잡고서라도 항로를 트는 선임 항해사가 되어야 한다고 다짐했었죠. 이를 위해 김대중 전 대통령께서 말씀하신 '서생적 문제의식'과 '상인의 현실감각'이 우리의 생존 지침이 되어야 한다고 썼습니다.

그 글을 쓴 이후, 우리 배가 마주한 '빙산'의 실체가 무엇인지 더욱 선명해졌습니다. 바로 2026년 현재, 거품 붕괴의 경고음이 울리고 있는 'AI 생태계'입니다.

지금 시장은 "하이프(Hype, 과대광고)에서 실용으로" 넘어가는 잔혹한 옥석 가리기의 한복판에 있습니다. 불과 1~2년 전만 해도 이력서나 회사 소개서에 'AI'라는 단어만 들어가면 뭉칫돈이 몰렸습니다. 하지만 지금 투자자들은 지갑을 닫고 구체적인 ROI(투자 대비 수익)를 묻기 시작했습니다.

수십억 원을 들여 AI를 도입한 기업들이 "그래서 이걸로 매출이 얼마나 올랐고, 비용이 얼마나 줄었는가?"라는 질문에 대답하지 못하고 있기 때문입니다. 화려하게 말을 잘하는 챗봇은 얻었지만, 그것이 실제 비즈니스의 문제를 해결해주지 못한다는 뼈아픈 현실을 깨닫고 있는 것이죠.

개발 현장의 상황도 비슷합니다. 우리는 AI 코딩 도구가 주는 달콤한 '생산성 향상의 환상' 뒤에서 끙끙 앓고 있습니다. 코드를 짜는 속도는 분명 빨라졌습니다. 하지만 AI가 짜준 코드는 우리 시스템 전체의 맥락을 이해하지 못합니다. 미묘한 버그, 존재하지 않는 라이브러리를 호출하는 환각 현상(Hallucination), 그리고 치명적인 보안 취약점이 눈덩이처럼 불어나는 기술 부채가 되어 시스템을 갉아먹고 있습니다.

"AI로 개발 속도가 2배 빨라졌다"고 환호하지만, 실제로는 그 코드가 왜 그렇게 작동하는지 뜯어보고 사고를 수습하느라 장애 복구 시간이 20% 늘어났다는 어느 연구 결과가 지금 우리의 서늘한 현실을 대변합니다.

이 혼란 속에서 최근 저에게 가장 큰 충격을 준 것은 앤트로픽(Anthropic)의 다리오 아모데이 사태였습니다.

이번 달, 아모데이는 미 국방부의 막대한 계약을 거절했습니다. 그 결과 기업이 '공급망 위험(국가 안보나 주요 인프라에 위협이 될 수 있는 기업)'으로 지정되는 치명적인 타격을 감수해야 했죠. 그럼에도 그는 자사 AI가 대중을 감시하거나 자율 살상 무기에 활용되는 것을 단호히 거부했습니다. 그 빈자리를 경쟁사인 오픈AI가 즉각 차지하는 것을 보며, 누군가는 아모데이를 향해 "비즈니스의 기본도 모르는 멍청한 짓"이라고 비웃었을지 모릅니다.

하지만 저는 거기서 진짜 '서생의 문제의식' 이 무엇인지 보았습니다. 그것은 단순히 고고한 윤리학자의 탁상공론이 아니었습니다. 기술이 통제력을 잃고 인간을 향해 휘둘러질 때 발생할 파국을 직시하고, "우리의 생존을 걸고서라도 지켜야 할 레드라인은 여기까지다"라고 선언한, 가장 치열하고 뼈아픈 결단이었습니다. 무한 확장을 향해 폭주하는 AI 산업 속에서, 그 멈춤의 선언은 역설적으로 앤트로픽이라는 기업의 존재 이유와 철학을 전 세계에 증명했습니다.

그렇다면, 이 험난한 AI 전쟁터에서 우리 팀의 레드라인은 무엇일까요? 우리는 살상 무기를 만들지는 않으니 저런 거창한 윤리적 고민은 남의 일일까요?

아닙니다. 속도가 생명인 스타트업에서, '무엇을 하지 않을 것인가'를 정하는 문제의식은 생존과 직결됩니다.

우리의 첫 번째 레드라인은 'AI 래퍼(Wrapper)가 되지 않겠다'는 것입니다.

AI 래퍼란 쉽게 말해 오픈AI나 구글 같은 거대 기업이 만든 AI 모델(API)을 가져와, 그럴싸한 UI 껍데기(Wrapper)만 씌워놓고 혁신이라 포장하는 서비스를 말합니다. 예를 들어, 단순히 PDF를 올리면 GPT가 요약해 주는 서비스는 한때 반짝 인기를 끌었지만, 오픈AI가 챗GPT에 '문서 읽기 기능'을 기본 탑재하는 순간 하루아침에 폐업 위기를 맞았습니다.

이처럼 남의 기술에 무임승차하는 비즈니스는 거대 테크 기업의 정책 변경 한 번이나, 무료 오픈소스 모델의 등장 한 방에 날아갈 모래성입니다.

진짜 혁신은 AI를 우리만이 쥐고 있는 독점적인 '해자(Moat, 적의 침입을 막기 위해 성곽 밖을 파서 만든 연못)' 속으로 끌고 내려올 때 시작됩니다. 세상에서 가장 똑똑한 AI 모델도, 예컨데 편의점 점주들이 매일 아침 재고를 정리하며 겪는 고단함이나, 특정 상권에서 비가 오는 날 어떤 상품이 더 팔리는지에 대한 끈적하고 복잡한 현장 데이터는 알지 못합니다. 이 뾰족한 도메인 지식이 바로 우리의 해자이며, AI는 이 해자 안에서 우리의 데이터를 무기로 싸울 때만 가치가 있습니다.

두 번째 레드라인은 '생산성의 환상에 속아 품질을 타협하지 않겠다'는 것입니다.

AI가 10초 만에 짜준 100줄의 코드, AI가 순식간에 요약해 준 고객 리뷰 데이터. 그것들을 의심 없이 맹신하고 복사-붙여넣기 하는 순간, 우리는 기술의 주인이 아니라 AI 에이전트의 하청업체로 전락합니다. AI가 만든 코드를 붙여넣기 전, "이 코드가 트래픽이 몰렸을 때도 안전한가?", "우리 고객의 개인정보가 이 로직 밖으로 새어나가진 않는가?"를 질문해야 합니다.

여기서 우리에게 필요한 것이 바로 '상인의 현실감각'입니다. 상인은 허상에 돈을 걸지 않습니다. 우리는 AI가 뱉어내는 빠르고 결함 있는 결과물들을 우리의 땀과 판단력으로 끊임없이 의심하고 검증해야 합니다. 윤리적 리스크와 편향성을 회피하는 가장 확실한 방법은, 기술을 맹신하지 않고 '인간의 통제력과 책임감'을 시스템 설계의 중심에 두는 것입니다. 현장 점주들의 고단한 하루와 고객의 진짜 불편함을 해결하는 구체적인 비즈니스 로직은 AI가 대신 짜주지 않습니다. 우리가 직접 부딪히며 깎아내야 합니다.

이 과정을 뚫고 나가기 위해 지난 글에서 제가 '신뢰'와 '도움을 요청하는 용기'를 강조했던 것입니다.

이제 우리의 협업 방식은 달라져야 합니다. 속도에 쫓겨 AI가 만든 코드나 기획서의 결함을 숨겨서는 안 됩니다. 오히려 이렇게 말할 수 있어야 합니다.

"내가 AI의 도움을 받아 로직을 빠르게 구성했는데, 아키텍처 관점에서 보안 취약점이 우려되니 깐깐하게 리뷰 좀 해줄래?"

"경쟁사가 AI 챗봇을 도입했다는데, 우리 고객의 행동 데이터를 섣불리 외부 AI에 먹이는 건 장기적으로 독이 될 것 같아. 당장의 지표보다 안전한 구조를 먼저 설계하자."

이런 말들이 오가는 심리적 안정감 위에서만 우리는 진짜 마찰을 빚어낼 수 있습니다. 남들이 속도전에 취해 부실 공사를 하고 있을 때, 우리는 치열하게 부딪히며 뼈대를 튼튼히 세워야 합니다.

서생적 문제의식으로 우리의 한계와 기술의 그림자를 직시하고, 상인의 현실감각으로 우리만의 압도적인 도메인 가치를 만들어냅시다. 거품은 반드시 꺼집니다. 하지만 진짜 문제를 집요하게 파고든 쇄빙선은, 거품이 꺼지고 난 뒤에 드러나는 새로운 바다를 지배할 것입니다.