생성형 AI의 다음 도약: 이제 추론의 시대로
o1, 추론, 인지 아키텍처, 그리고 에이전트 앱
본 콘텐츠는 세콰이어 캐피탈에서 발행한 'Generative AI’s Act o1' 아티클을 번역/의역했습니다.
생성형 AI 혁명이 시작된 지 2년이 지난 지금, AI 연구는 “빠르게 생각하기”(사전 학습된 모델을 통한 빠른 응답)에서 “천천히 생각하기”(느리더라도 정교한 추론을 통해 응답)로 발전하고 있다. 이러한 발전은 새로운 에이전트 애플리케이션(Agentic applications)의 출현으로 이어진다.
생성형 AI 시장의 파운데이션 레이어(Foundation layer)는 이제 몇몇 핵심 플레이어 간의 연합을 통해 안정된 균형을 찾아가고 있다. Microsoft/OpenAI, AWS/Anthropic, Meta, Google/DeepMind 등 주요 플레이어들은 막대한 자본과 경제력을 바탕으로 시장을 주도하고 있으며, 이런 환경에서 살아남을 수 있는 몇몇 기업만 경쟁에 참여하고 있다. 물론 싸움은 아직 끝나지 않았고, 게임 이론적 관점에서 경쟁이 계속 격화되고 있지만 시장 구조는 굳어지고 있는 것이 확실하며, 저렴하고 성능 높은 모델들이 앞으로 더 많이 등장할 것이 분명하다.
이처럼 LLM(Large Language Model) 시장이 안정화되면서 이제 다음 단계가 부상하고 있다. "시스템 2" 사고를 중심으로 한 추론 레이어(Reasoning layer)가 바로 그것이다. 알파고와 같은 모델에서 영감을 얻은 이 추론 레이어는 AI 시스템이 단순한 패턴 매칭을 넘어서, 신중한 추론과 문제 해결, 인지적 작업을 수행할 수 있도록 한다. 그리고 새로운 인지 아키텍처(Cognitive architecture)와 사용자 인터페이스는 이러한 추론 능력을 사용자에게 전달하여 상호작용할 수 있도록 하는 방식을 만들어내고 있다.
이러한 변화는 AI 시장의 창업자/스타트업에게 어떤 의미를 갖는 걸까? 기존 소프트웨어 기업들은 이를 어떻게 받아들여야 할까? 그리고 투자자로서 생성형 AI 스택에서 유망한 투자 기회를 어디서 찾아야 할까?
이 글에서는 LLM의 경쟁적 발전이 어떻게 고차원적인 추론과 에이전트 기능을 확장하는 발판을 마련했는지, 그리고 새로운 인지 아키텍처와 사용자 인터페이스를 갖춘 차세대 “킬러 앱(Killer apps)”들이 어떤 방식으로 등장할지에 대해 논의하고자 한다.
Strawberry Fields Forever*
(*제목 각주: Strawberry Fields Forever는 비틀스의 노래로 OpenAI의 Strawberry, 즉 o1 모델이 AI 기술 발전에 있어 기억될만한 혁신적인 성과임을 비유적으로 표현한 것으로 보임)
2024년 가장 중요한 모델 업데이트로는 OpenAI의 o1을 꼽을 수 있다. 이전에는 Q*로 알려졌으며, 또 다른 이름은 Strawberry다. 이는 OpenAI가 모델 품질 순위에서 다시 한번 정상을 차지했다는 것을 의미할 뿐만 아니라, 기존 아키텍처에서 눈에 띄는 개선을 이루어냈다는 것을 의미한다. 특히 주목할 점은 이 모델이 진정한 일반 추론 능력을 가진 첫 번째 모델이라는 점이다. OpenAI는 이를 추론 시간 컴퓨팅(inference-time compute)을 기반으로 구현했다.
이게 무슨 의미일까? 사전 학습된 모델들은 방대한 데이터에서 다음 토큰을 예측하는 방식으로 작동한다. 이러한 모델들은 “트레이닝 타임 컴퓨팅(training-time compute)”에 의존한다. 학습량의 규모가 커지면 나타나는 자연스러운 특성 중 하나가 추론 능력인데, 이러한 형태의 추론은 매우 제한적이다. 그렇다면 모델이 추론을 잘할 수 있도록 직접적으로 가르칠 수 있다면 어떨까? 그것이 바로 Strawberry에서 일어난 것이다. “추론 시간 계산(Inference-time compute)”이라는 것은 모델이 답을 내리기 전에 잠시 멈추고 생각하게 하는 것을 의미하며, 이는 추론 시점에 더 많은 계산과 시간이 필요하다. 이렇게 “잠시 멈추고 생각하는” 과정이 바로 추론이다.
AlphaGo x LLM
그렇다면 모델이 잠시 멈추고 생각할 때, 무슨 일이 일어날까?
2016년 3월 서울로 잠시 돌아가 보자. 딥러닝 역사상 가장 중요한 순간 중 하나가 여기서 일어났다. 바로 AlphaGo와 전설적인 바둑 기사 이세돌의 대결이다. 이 대결은 단순히 AI와 인간의 경기라는 점을 넘어서, AI가 단순히 패턴을 모방하는 것 이상의 능력을 발휘한다는 것, 즉 ‘사고한다’는 것을 전 세계에 보여준 순간이었다.
AlphaGo가 이전의 게임 AI 시스템, 예를 들어 딥 블루(Deep Blue)와 다른 점은 무엇일까? AlphaGo 역시 LLM과 마찬가지로 인간 전문가의 데이터를 학습했다. 약 3,000만 개의 기보 데이터와 셀프 대국을 바탕으로 학습한 것이다. 그러나 AlphaGo는 사전 학습된 모델에서 즉각적으로 반응을 내놓는 대신, 잠시 멈추고 생각한다. 추론 시간 동안 모델은 다양한 잠재적 미래 시나리오를 탐색하고 시뮬레이션하여, 각각의 시나리오를 점수화하고 그중 가장 높은 기댓값을 가진 시나리오(혹은 답)를 선택해 응답한다. AlphaGo에게 더 많은 시간이 주어질수록 더 나은 성능을 발휘한다. 추론 시간이 전혀 없으면 모델은 최고의 인간 바둑 기사를 이길 수 없지만, 추론 시간이 늘어날수록 AlphaGo는 점점 더 강해져 결국 세계 최고의 인간을 뛰어넘게 된다.
이제 다시 LLM 세계로 돌아가 보자. AlphaGo 방식을 LLM에 적용하기 어려운 이유는 가치 함수(value function), 즉 응답에 점수를 매기는 방법을 구성하는 것이 어렵기 때문이다. 바둑을 두는 경우라면 게임을 끝까지 시뮬레이션하여 누가 이기는지 확인한 다음, 다음 수에 대한 예상 값을 계산하면 된다. 코딩 또한 실행해 보고 작동하는지 확인할 수 있어 단순한 편이다. 그러나 에세이 초안을 어떻게 평가할까? 여행 일정표는? 긴 문서에서 핵심 용어를 요약하는 것은? 이것이 현재 방식으로 추론이 어려운 이유이며, Strawberry가 논리적 영역(예: 코딩, 수학, 과학)에서는 상대적으로 강하지만, 개방적이고 비구조적인 영역(예: 글쓰기)에서는 약한 이유이기도 하다.
Strawberry의 실제 구현 방식은 철저히 비밀에 부쳐져 있지만, 핵심 개념은 모델이 생성한 생각의 사슬(chain of thought)을 바탕으로 한 강화 학습에 있다. 모델의 생각 사슬을 살펴보면, 인간이 사고하고 추론하는 방식과 유사한 무언가가 일어난다는 점에서 흥미롭다. 예를 들어, o1 모델에는 ‘추론 시간의 확장’이라는 속성이 추가되면서 문제를 풀다가 막히면 다시 되돌아가 생각하는 모습을 자연스럽게 보여주고 있다. 또한 인간과 같은 방식으로 문제를 생각하고(예: 기하학 문제를 풀기 위해 구의 점을 시각화), 새로운 방식으로 문제를 생각하는 능력(예: 프로그래밍 대회에서 인간과는 다른 방식으로 문제 풀기)을 보여주고 있다.
추론 시간 계산을 더욱 발전시키기 위한 새로운 아이디어는 끝없이 나오고 있다.(예: 보상 함수를 계산하는 새로운 방식, generator/verifier 간의 차이를 좁히는 새로운 방법 등). 이처럼 연구팀들은 모델의 추론 능력을 향상시키기 위해 끊임없이 노력하고 있다. 심층 강화 학습이 다시 주목받고 있으며, 이를 통해 전혀 새로운 형태의 추론 레이어가 만들어지고 있다.
시스템 1 사고 vs 시스템 2 사고
사전 학습된 본능적 응답(pre-trained instinctual response, “시스템 1”)에서 더 깊고 신중한 추론(deliberate reasoning, “시스템 2”)으로 도약하는 것이 AI의 다음 과제다. 모델이 단순히 많은 지식을 아는 것만으로는 충분하지 않다. 실시간으로, 멈춰서 평가하고 추론해야 한다.
사전 학습은 시스템 1에 해당한다. 수백만 개의 바둑 수에 대해 사전 학습을 받은 모델(알파고)이든 페타바이트 규모의 인터넷 텍스트(LLM)에 대해 사전 학습을 받은 모델이든, 그 역할은 인간의 게임 플레이나 언어와 같은 패턴을 모방하는 것이다. 하지만 모방은 아무리 강력하더라도 진정한 추론이 아니다. 복잡하고 새로운 상황이 주어지면 모델이 제대로 생각할 수 없다.
여기서 시스템 2 사고가 등장한다. 이것이 최신 AI 연구의 핵심 주제다. 모델은 “멈추고 생각할 때,” 단순히 학습된 패턴을 생성하거나 과거 데이터를 바탕으로 예측을 내놓는 것이 아니다. 다양한 가능성을 모색하고, 잠재적 결과를 고려한 뒤, 추론에 기반하여 결정을 내린다.
대부분의 작업에서는 시스템 1 사고만으로도 충분하다. <Training Data> (*세콰이어 캐피탈의 AI 팟캐스트 시리즈) 최신 에피소드에서 노암 브라운이 지적했듯이, 부탄의 수도가 무엇인지에 대해서는 오래 생각할 필요가 없다. 알거나 모르거나 둘 중 하나다. 이런 상황에서는 패턴, 학습 기반의 빠른 응답이 완벽하게 작동한다.
하지만 수학이나 생물학 분야에서 다루는 아주 복잡한 문제에서는 빠르고 본능적인 응답을 내놓는 것만으로 충분하지 않다. 여기에는 깊은 사고와 창의적인 문제 해결 방식, 그리고 무엇보다 시간이 필요하다. AI도 마찬가지다. 어렵고 도전적인 문제를 해결하려면 AI는 신중한 추론을 통해 인간의 진보를 이끌어 낼 수 있는 방식으로 진화해야 한다.
사전학습된 내용을 토대로 빠르게 응답하는 모델 vs 느리지만 정교한 추론을 바탕으로 응답하는 모델/ 이미지 출처: Sequoia Capital
*사전학습 레이어 vs 추론 레이어 비교 / 이미지 출처: Sequoia Capital새로운 스케일링 법칙(Scaling Law): 추론 경쟁의 시작
o1 논문에서 얻은 가장 중요한 통찰은 새로운 스케일링 법칙이 등장했다는 것이다.
LLM(대형 언어 모델)을 사전 학습하는 과정은 이미 잘 알려진 스케일링 법칙을 따른다. 즉, 모델을 사전 학습하는 데 더 많은 컴퓨팅 자원과 데이터를 투입할수록 성능이 향상된다.
하지만 o1 논문은 완전히 새로운 차원을 열었다. 즉, 모델에게 더 많은 추론 시간(혹은 “테스트 시간”)과 컴퓨팅 자원을 제공할수록, 모델의 추론 능력이 향상된다는 것이다.
학습시간과 추론시간에 따른 정확도 / 이미지 출처: Sequoia Capital, OpenAI o1 기술 보고서모델이 몇 시간 동안, 며칠 동안, 아니면 수십 년 동안 생각할 수 있다면 어떻게 될까? 리만 가설을 해결할 수 있을까? 아시모프의 마지막 질문에 답을 할 수 있을까?
이러한 변화는 대규모 사전 학습 클러스터의 세계에서 추론 클라우드(Inference clouds) 환경으로 옮겨가는 계기가 될 것으로 보인다. 이 클라우드는 작업(추론)의 복잡성에 따라 컴퓨팅 자원을 동적으로 확장할 수 있는 환경을 말한다.
하나의 모델이 모든 것을 지배할까?
OpenAI, Anthropic, Google, Meta가 추론 레이어를 확장하고 더 강력한 추론 머신을 개발하면 어떤 일이 벌어질까? 결국 하나의 모델이 모든 것을 지배하게 될까?
생성형 AI 시장 초기에 나온 하나의 가설은, 특정 회사가 매우 강력하고 포괄적인 모델을 만들어 다른 모든 애플리케이션을 대체할 것이라는 것이었다. 그러나 이 예측은 두 가지 측면에서 틀렸다.
첫째, 모델 레이어의 경쟁이 치열해지면서 최고의 성능을 달성하기 위한 끊임없는 도약이 지속되고 있다. 어떤 기업이 광범위한 도메인에서 자가 학습을 통해 지속적인 자기 개선에 성공할 수도 있지만, 현재까지는 그러한 조짐을 보지 못했다. 오히려 모델 레이어는 극심한 경쟁의 장이 되었고, GPT-4의 토큰당 가격은 지난 dev day 이후 98%까지 감소했다.
둘째, 대부분의 LLM 모델은 애플리케이션 레이어에 진입하여 성공을 거두지 못했다. 유일하게 ChatGPT만이 성공했다. 현실 세계는 복잡(Messy)하다. 뛰어난 AI 연구자들이라고 해서 모든 산업 분야에서, 모든 기능의 세부적인 end-to-end 워크플로우를 이해하고 싶어 하지는 않는다. LLM과 API에 대한 생각은 멈추고, 개발자들이 현실 세계의 복잡한 문제들에 집중하여 해결하도록 하는 것이 경제적이고 합리적이다. 이는 애플리케이션 레이어에 좋은 소식이다.
복잡한 현실 세계: 맞춤형 인지 아키텍처
과학자로서 목표를 달성하기 위해 계획을 세우고 행동하는 방식과 소프트웨어 엔지니어로서 일하는 방식은 아예 다르다. 또한, 같은 소프트웨어 엔지니어라고 하더라도 회사마다 일하는 방식이 다를 수 있다.
연구실에서 범용적 추론 능력의 범위를 계속 넓혀가고 있지만, 유용한 AI 에이전트를 제공하려면 여전히 애플리케이션 또는 특정 도메인에 특화된 추론이 필요하다. 일반 모델만으로는 현실 세계에서 효율적으로 적용할 수 없다. 특정 도메인과 애플리케이션에 적합한 추론 능력을 개발하는 것이 필요하다.
애플리케이션에서 제공하는 인지 아키텍처 레이어 / 이미지 출처: Sequoia Capital여기서 등장하는 것이 바로 인지 아키텍처다. 인지 아키텍처는 시스템이 사고하는 방식, 즉 사용자의 입력을 받아 액션을 실행하는 일련의 과정, 응답을 생성하는 코드와 모델 간의 상호작용을 의미한다.
예를 들어, Factory의 경우, 각 “드로이드(droid)”는 특정 작업을 해결하기 위해 인간이 사고하는 방식을 모방한 맞춤형 인지 아키텍처를 가지고 있다. 예를 들어, pull requests 검토 또는 백엔드를 변경하는 마이그레이션 계획을 작성하고 실행하는 작업 등이 있다. Factory 드로이드는 모든 종속성을 분석하고, 코드 변경을 제안하며, 단위 테스트를 추가하고, 이를 검토할 ‘진짜 인간’을 참여하게 한다. 그런 후, 승인이 나면 개발 환경에서 변경 사항을 실행하고 모든 테스트가 통과되면 코드를 병합한다. 일반적인 블랙박스 응답이 아니라, 인간이 하는 방식과 동일하게 개별적인 작업 단계로 나누어 처리하는 것이다.
App 분야에는 무슨 일이 일어나고 있을까?
AI 분야에서 사업을 시작하고 싶다고 가정하자. 스택의 어느 레이어(Layer)를 목표로 해야 할까? 인프라 레이어에서 경쟁하려고 한다면, 엔비디아와 같은 하이퍼스케일러들을 이기기 쉽지 않다. 모델 레이어에서는, OpenAI나 마크 저커버그와 경쟁해야 한다. 역시 너무 어렵다. 애플리케이션에서 레이어는 어떨까? 대기업 IT와 글로벌 시스템 통합업체들과 경쟁해야 한다. 잠깐, 이것은 꽤 할 만하지 않은가?
파운데이션 모델은 마치 마법 같지만, 너무 복잡하다. 주류 기업들은 블랙박스, 환각(hallucination) 문제, 그리고 불완전한 워크플로를 감당하기 어렵다. 소비자들은 빈 프롬프트를 보고 무엇을 물어봐야 할지 몰라 당황한다. 바로 이런 점들이 애플리케이션 레이어에서 기회가 되는 것이다.
2년 전만 해도 많은 애플리케이션 레이어에 속한 AI 기업들은 “GPT-3의 단순한 래퍼(wrapper)”라고 비난받았다. 하지만 오늘날 그 래퍼 회사들이 선택한 방법이 오히려 지속적인 가치를 구축할 수 있는 유효한 방법으로 밝혀졌다. 처음에는 정말 “래퍼”로 시작한 것이 이제는 “인지 아키텍처”로 발전했다.
애플리케이션 레이어의 AI 기업들은 단순히 파운데이션 모델 위에 UI를 얹는 것이 아니다. 전혀 그렇지 않다. 이들은 여러 파운데이션 모델을 라우팅 하는 메커니즘을 만들거나, RAG(Retrieval-Augmented Generation)를 위해 벡터 또는 그래프 데이터베이스를 사용하며, 거버넌스를 보장하기 위한 안전장치를 갖추고, 인간이 워크플로를 통해 사고하는 방식을 모방한 애플리케이션 로직을 포함한 복잡한 인지 아키텍처를 갖추고 있다.
다른 의미의 SaaS : Service-as-a-Software
클라우드 전환은 Software-as-a-Service(SaaS, 서비스형 소프트웨어)로 이루어졌다. 소프트웨어 회사들이 클라우드 서비스 제공업체가 되었다. 이것은 3,500억 달러 규모의 시장 기회를 창출했다.
에이전트 기반의 추론(agentic reasoning) 덕분에, AI 전환은 Service-as-a-Software가 될 것이다. AI 회사들은 노동(일)을 소프트웨어로 전환한다. 이는 곧 AI 에이전트의 목표 시장이 단순한 소프트웨어 시장이 아니라 수조 달러 규모의 서비스 시장이라는 것을 의미한다.
AI 에이전트 애플리케이션 시장의 목표: 서비스 시장 / 이미지 출처: Sequoia Capital‘일(Work)을 판매한다’는 것은 무엇을 의미할까? Sierra가 좋은 예시다. B2C 기업은 Sierra를 웹사이트에 설치하여 고객과 대화를 나눈다. 이들의 목표는 고객의 문제를 해결하는 것이다. Sierra는 문제를 해결한 횟수에 따라 비용을 부과한다. “좌석당 요금(ex. 인당 요금)”이라는 개념은 없다. 해결해야 할 이슈가 있고, Sierra가 이를 처리했을 때 돈을 받는 것이다.
이것이 AI 기업이 목표로 해야 하는 지점이다. Sierra는 ‘우아한 실패’ 모드를 가지고 있다(인간 상담원으로 에스컬레이션 하는 것). 현재 떠오르는 개발 패턴은 처음에는 보조 조종사(copilot, 인간의 개입이 필요한 상태)로 서비스를 배포하고, 향후 신뢰를 쌓은 후에 자율 주행(autopilot, 인간의 개입이 없는 상태) 서비스로 전환하는 것이다. GitHub Copilot이 좋은 예시라고 할 수 있다.
에이전트 애플리케이션 집단의 출현
생성형 AI의 추론 능력이 발전하면서 새로운 종류의 에이전트 애플리케이션이 등장하기 시작했다.
이러한 애플리케이션 레이어 기업들은 어떤 형태를 취하고 있을까? 흥미롭게도 이러한 기업들은 기존의 클라우드 기업들과는 다른 모습을 보인다:
클라우드 기업은 소프트웨어 수익 풀(Software profit pool)을 목표로 삼았다. AI 기업은 서비스 수익 풀(Service profit pool)을 목표로 삼고 있다. (*타깃 시장이 다르다는 의미로 보임)
클라우드 기업은 소프트웨어를 판매한다($ / seat). AI 기업은 일/작업/업무(Work)를 판매한다($ / outcome).
클라우드 기업은 상향식 유통 방식을 선호했다. 하지만 AI 기업은 점점 더 하향식으로 전환하고 있으며 고접촉, 고신뢰의 전달 모델을 채택하고 있다. (*제품을 구매하는 의사결정 과정을 이야기하는 것으로 보임)
이러한 에이전트 애플리케이션 집단은 지식 경제의 모든 분야에서 등장하고 있다. 몇 가지 예시를 살펴보자.
Harvey: AI 변호사
Glean: AI 업무 어시스턴트
Factory: AI 소프트웨어 엔지니어
Abridge: AI 임상 대화 기록 앱 (AI medical scribe)
XBOW: AI 보안 침투 테스터 (AI pentester)
Sierra: AI 고객 지원 에이전트
이러한 에이전트 애플리케이션들은 추론 비용이 급락하고 서비스 제공의 한계 비용이 낮아짐에 따라 새로운 시장을 창출하고 확장하고 있다.
XBOW를 예로 들어보겠다. XBOW는 AI “펜테스터(침투 테스터)”를 개발하고 있다. 펜테스트 또는 모의 침투 테스트는 시스템에 대한 모의 사이버 공격으로, 기업들이 보안 시스템을 평가하기 위해 수행하는 테스트다. 생성형 AI가 등장하기 전에는 기업들이 펜테스팅을 제한된 상황에서만 실시했는데(예: 컴플라이언스 요구사항에 따라), 그 이유는 침투 테스터가 고도로 숙련된 인간에 의해서 수행되는 수작업이기에 비용이 많이 들었기 때문이다. 그러나 XBOW는 현재 최신 추론 LLMs를 기반으로 한 자동화된 펜테스트를 선보이고 있으며, 이는 최고의 인간 펜테스터와 동등한 수준의 성능을 보여주고 있다. 이로 인해 펜테스팅 시장이 확대되었고, 기업들이 지속적으로 펜테스팅을 수행할 수 있게 되었다.
SaaS 생태계에는 어떤 의미가 있을까?
올해 초 Limited Partners와 만났다. 그들이 가장 궁금해했던 것은 “AI 전환이 기존 클라우드 회사를 파괴할까요?”였다.
처음에는 단호하게 “아니요”라고 답했다. 스타트업과 기존 대기업 간의 전통적인 경쟁은 스타트업이 유통을 구축하고 대기업이 따라서 제품을 개발하는 형태로 이루어졌다. 새로운 기술을 가진 젊은 회사들이 기존 대기업이 더 좋은 제품을 내놓기 전에 고객을 얼마나 많이 확보할 수 있을까? AI의 마법은 파운데이션 모델에서 나오기 때문에, 우리의 기본적인 가정은 대기업들도 잘할 거라는 것이었다. 파운데이션 모델은 스타트업들만 접근하는 것이 아니라 대기업도 동일하게 접근할 수 있으며, 이들은 이미 데이터와 유통이라는 강점을 가지고 있다. 스타트업들이 차지할 수 있는 주요한 기회는 기존 소프트웨어 회사를 대체하는 것이 아니라 자동화할 수 있는 작업 풀을 공략하는 것이라고 생각했다.
그렇지만 더 이상 확신할 수 없을 것 같다. 위에서 언급한 인지 아키텍처를 다시 살펴보자. 모델이 가진 원래 능력을 매력적이고 신뢰할 수 있는 종합 비즈니스 솔루션으로 전환하는 데는 엄청난 양의 엔지니어링이 필요하다. “AI 네이티브”라는 개념을 우리가 과소평가하고 있는 것은 아닐까?
20년 전만 해도 온프레미스 소프트웨어 회사들은 SaaS라는 개념을 비웃었다. “그게 무슨 큰일입니까? 우리도 자체 서버를 운영하면서 인터넷을 통해 제공할 수 있는데!” 물론 개념적으로는 간단했지만, 그 이후로 비즈니스는 완전히 재탄생했다. EPD는 워터폴 방식에서 애자일 개발 및 AB 테스트로 전환되었고, GTM은 고위급 영업과 비싼 식사 대접을 통한 영업에서 PLG(Product Led Growth) 및 데이터 분석으로 바뀌었다. 비즈니스 모델은 고가의 ASP(평균 판매 가격) 및 유지보수 계약에서 높은 NDR(Net Dollar Retention) 및 사용량 기반 가격으로 변했다. 이러한 전환을 성공적으로 이룬 온프레미스 기업은 거의 없다.
AI도 이와 유사한 전환일까? 어쩌면 AI의 기회는 일/노동/작업을 판매하는 것과 소프트웨어를 대체하는 것 둘 다일 수 있지 않을까?
Day.ai를 통해 우리는 미래를 엿볼 수 있다. Day는 AI 네이티브 CRM이다. 시스템 통합업체는 Salesforce를 세팅하고 기업의 요구에 맞게 조정하면서 수십억 달러를 벌어들인다. 하지만 Day는 이메일과 캘린더 액세스 권한과 한 페이지짜리 설문지에 대한 답변만 있으면 비즈니스에 완벽히 맞춤화된 CRM을 자동으로 생성한다. 모든 기능이 완벽하지는 않지만, 인간의 개입 없이 자동으로 업데이트되는 CRM의 마법은 이미 사람들을 놀라게 하고 있으며, 이로 인해 사용자가 늘어나고 있다.
투자 환경
투자자로서 우리는 어디를 바라봐야 할까? 투자 자금은 어디에 투입되고 있을까? 간단한 의견을 공유해 본다.
인프라
이것은 하이퍼스케일러의 영역이다. 이는 미시경제학이 아니라 게임 이론적 행동에 의해 주도된다. 벤처 캐피털에게는 최악의 영역이다.
모델
이 또한 하이퍼스케일러와 금융 투자자의 영역이다. 하이퍼스케일러는 자산을 현금 흐름으로 바꾸며, 투입된 자금은 결국 다시 클라우드 비즈니스로 돌아가면서 연산 수익을 창출한다. 금융 투자자들은 “과학에 매료되는” 편향에 영향을 받는다. 이 모델들은 대단히 멋지고, 이 팀들은 매우 인상적이다.
개발자 도구 및 인프라 소프트웨어
전략적 측면에서는 덜 흥미롭지만, 벤처 캐피탈에게는 더 흥미로운 영역이다. 클라우드 전환 과정에서 이 레이어에서 10억 달러 이상의 매출을 기록한 기업들이 약 15개 탄생했으며, AI에서도 같은 일이 일어날 것으로 예상된다.
애플리케이션
벤처 자본가들에게 가장 흥미로운 레이어다. 클라우드 전환 과정에서 10억 달러 이상의 매출을 기록한 애플리케이션 레이어 기업이 약 20개, 모바일 전환 과정에서는 약 20개가 탄생했으며, AI 전환기에도 비슷한 일이 일어날 것으로 보인다.
클라우드 전환기, 모바일 전환기, AI 전환기의 스택 / 이미지 출처: Sequoia Capital마무리하며
생성형 AI의 다음 단계에서는 추론 R&D(Reasoning R&D) 영향이 애플리케이션 레이어로 빠르고 깊게 파급될 것이다. 지금까지 대부분의 인지 아키텍처는 아주 기발한 “unhobbling” 기법을 통해 구현해 왔지만, 이제 이러한 기능들이 모델 자체에 깊이 내재화되면서, 에이전트 애플리케이션이 훨씬 더 정교하고 견고해질 것으로 기대된다.
연구실에서는 추론 및 추론 시간 컴퓨팅(Inference-time computing)이 당분간 핫한 연구 주제가 될 것이다. 새로운 스케일링 법칙이 등장하면서 또 다른 경쟁이 시작되었지만, 특정 도메인에서 실제 데이터를 수집하고, 도메인과 애플리케이션에 맞춘 인지 아키텍처를 구축하는 것은 여전히 어렵다. 이것은 다시 한번 애플리케이션 레이어의 마지막 구간에 있는 공급자들(스타트업 등, Last-mile app provider)이 복잡한 현실 세계의 다양한 문제를 해결하는 데 있어 우위를 점할 수 있는 이유이기도 하다.
한 발 앞서 생각해 보면, Factory의 드로이드와 같은 멀티 에이전트 시스템이 추론과 소셜 학습 프로세스를 모델링하는 방식으로 점차 확산될 수 있다. 에이전트를 통해 작업을 처리할 수 있게 되면, 다수의 에이전트가 팀을 이루어 훨씬 더 많은 성과를 이뤄낼 수 있을 것이다.
우리가 간절히 기다리고 있는 것은 생성형 AI의 ‘37번째 수’다. 이는 AlphaGo와 이세돌의 두 번째 대국에서처럼, AI 시스템이 우리를 놀라게 하는 순간, 독립적인 사고처럼 느껴지는, 인간을 넘어선 무언가를 보여주는 순간이다. 이는 AI가 ‘깨어난다(wakes up)’는 의미가 아니다(AlphaGo도 그렇지 않았다). 대신, AI가 지각, 추론, 행동 과정을 시뮬레이션하여 완전히 새롭고 유용한 방식으로 탐구할 수 있게 된다는 뜻이다. 이것이 실제로 AGI(일반 인공 지능) 일 수도 있으며, 그렇다면 그것은 단순한 해프닝이 아니라 기술의 엄청난 도약이자 국면의 전환(next phase)이 될 것이다.
원문: https://www.sequoiacap.com/article/generative-ais-act-o1/
본 콘텐츠는 세콰이어 캐피탈에서 발행한 'Generative AI’s Act o1' 아티클을 번역/의역했습니다. 세콰이어 캐피탈의 아티클과 팟캐스트는 AI를 이해하는 데 있어 최고의 콘텐츠
라고 생각합니다. 앞으로도 이들의 좋은 콘텐츠를 공부하여 흡수하고 번역하여 공유하고자 합니다.
다만, 전문 번역가가 아니기에 오역이 있을 수 있습니다. 또한, 원저작자의 요청에 의해 불시에 삭제될 수 있다는 점 참고 부탁드립니다.
