기업들은 LLM을 어디에 어떻게 쓰나? 16가지 트렌드
학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 의미 전달이 애매한 일부 문장은 삭제했습니다. 이번에는 a16z에 올라온 글을 정리한 것입니다.
생성AI는 2023년에 소비자 세계를 강타하며 기록적인 속도로 10억 달러 이상 소비자 지출을 달성했다. 2024년에는 기업 시장에서 매출 기회가 몇 배 더 커질 것으로 예상된다. 작년에는 소비자들이 새로운 AI 컴패니언과 채팅을 하거나이미지와 동영상을 제작하는 데 시간을 보냈지만, 대부분의 기업들에서 생성AI를 활용하는 것은 소수 명백한 사용 사례와 새로운 SKU(Stock Keeping Unit)로 'GPT 래퍼'(GPT-wrapper) 제품을 출시하는 것에 국한돼 보였다.
일부 반대론자들은 생성AI가 엔터프라이즈로 확장될 수 있을지에 대해 의문을 제기하기도 했다. 똑같은 3가지 사용 사례들에 갇혀 있지 않나? 이런 스타트업들이 실제로 돈을 벌 수 있을까? 모두 과장 아닌가?
지난 몇 달 동안 우리는 포춘 500대 기업 및 주요 기업 리더 수십여명과 이야기를 나누고 2 70여명을 대상으로 설문조사를 실시, 그들이 생성 AI를 어떻게 사용하고, 구매하고, 예산을 책정하고 있는지 파악했다. 지난 6개월 동안 생성AI에 대한 리소스와 태도가 얼마나 크게 변화했는지에 놀라움을 금치 못했다. 이들 리더는 여전히 생성 AI 배포에 대해 약간 의구심을 가지고 있지만, 예산을 거의 3배 가까이 늘리고, 소규모 오픈소스 모델에 배치하는 사용 사례 수를 확대하고, 초기 실험에서 프로덕션으로 더 많은 워크로드를 전환하고 있다.
이는 창업자들에게 엄청난 기회다. 우리는 1) 기업 AI 중심 전략적 이니셔티브를 위해 구축하면서 기업 문제점들을 예측하고 2) 서비스 중심 접근 방식에서 확장 가능한 제품 구축으로 전환하는 AI 스타트업이 이 새로운 투자 물결을 포착하고 상당한 시장 점유율을 확보할 수 있을 것으로 보고 있다.
언제나 그렇듯이 기업용 제품을 구축하고 판매하려면 고객 예산, 관심사, 로드맵에 대한 깊은 이해가 필요하다. 창업자들에게 기업 리더들이 생성AI 배포에 대한 의사 결정을 내리는 방법을 알려주고, AI 분야 다른 리더들이 자신과 같은 문제에 어떻게 접근하고 있는지에 대한 정보를 제공하기 위해 최근 해당 리더들과 대화를 통해 리소스, 모델, 사용 사례에 대해 가장 먼저 고려해야 할 16가지 사항을 정리해봤다.
리소스: 예산이 급격히 증가하고 있으며 앞으로도 계속 증가할 것이다.
1. 생성형 AI에 대한 예산이 급증하고 있다
2023년에 기초 모델(foundation model ) API, 자체 호스팅 및 미세 조정 모델들에 대한 평균 지출은 우리가 나눴던 십여 개 기업들에 걸쳐 700만 달러였다.. 우리와 대화를 나눈 거의 모든 기업들은 생성AI 실험 초기 결과가 유망하다고 판단해 2024년에 더 많은 워크로드를 프로덕션에 배포하기 위해 지출을 2배에서 5배까지 늘릴 계획이라고 답했다.
2. 리더들은 AI 투자를 반복적인 소프트웨어 예산 라인에 재할당하기 시작했다
작년에 엔터프라이즈 생성AI 지출 대부분은 당연히 '혁신' 예산과 기타 일반적인 일회성 자금 풀에서 나왔다. 그러나 2024년에는 많은 리더들이 이러한 지출을 보다 영구적인 소프트웨어 항목에 재할당하고 있으며, 올해에는 4분의 1 미만이 혁신 예산에서 생성AI 비용을 지출할 것이라고 응답했다. 우리는 훨씬 더 작은 규모로, 일부 리더들이 특히 고객 서비스 분야에서 인력 감축을 위해 생성AI 예산을 배치하는 것을 보기 시작했다. 이러한 추세가 지속된다면 향후 생성AI에 대한 지출이 크게 증가할 것으로 보인다. 한 기업은 LLM 기반 고객 서비스를 통해 통화 당 6달러, 총 90% 비용을 절감한 것을 생성AI에 대한 투자를 8배로 늘린 이유로 꼽았다.
3. ROI 측정은 여전히 예술이자 과학이다.
현재 기업 리더들은 대부분 AI를 통한 생산성 향상으로 ROI를 측정하고 있다. 그들은 좋은 지표로 NPS와 고객 만족도에 의존하고 있지만, 사용 사례에 따라 수익 창출, 비용 절감, 효율성 및 정확성 향상과 같은 보다 실질적인 수익을 측정할 수 있는 방법을 찾고 있다. 단기적으로 리더들은 생성AI 기술을 도입하고 수익을 정량화하는 데 사용할 최적의 지표를 찾고 있는 가운데 향후 2~3년 동안 ROI는 점점 더 중요해질 것이다. 리더들이 이 질문에 대한 해답을 찾는 동안 많은 이들은 직원들이 시간을 더 잘 활용하고 있다고 말할 때 ROI에 대해 믿고 있다.
4. 생성 AI를 구현하고 확장하려면 적절한 기술 인재가 필요하지만, 현재 많은 기업들은 사내에 이러한 인재가 없다
단순히 모델 제공업체 API를 쓰는 것만으로는 생성 AI 솔루션을 대규모로 구축하고 배포하는 데 충분하지 않다. 필요한 컴퓨팅 인프라를 구현, 유지 관리 및 확장하려면 고도로 전문화된 인재가 필요하다. 구현 분야는 2023년 AI 지출에서 가장 큰 비중을 차지하는 분야 중 하나이며, 경우에 따라서는 가장 큰 비중을 차지하기도 했다. 한 경영진은 "LLM은 아마도 사용 사례 구축 비용 4분의 1에 해당할 것"이라며 개발 비용이 예산의 대부분을 차지한다고 언급했다.
기업들이 모델을 가동하고 실행하는 데 도움을 주기 위해 기초 모델 제공업체는 일반적으로 맞춤형 모델 개발과 관련된 전문 서비스를 제공했고 지금도 제공하고 있다. 이는 2023년 이들 기업 수익에서 상당한 부분을 차지할 것으로 추정되며, 성과 외에도 기업이 특정 모델 제공업체를 선택한 주요 이유 중 하나다. 기업에서 적절한 생성AI 인재를 확보하기가 매우 어렵기 때문에, 사내에서 생성AI 개발을 쉽게 할 수 있는 툴을 제공하는 스타트업이 더 빠르게 채택될 가능성이 높다.
모델: 기업들은 멀티 모델, 오픈 소스 세상을 지향하는 추세다
5. 멀티모델의 미래
불과 6개월 전만 해도 대다수 기업은 한 가지 모델(보통 OpenAI)이나 기껏해야 두 가지 모델을 실험하고 있었다. 오늘날 엔터프라이즈 리더들과 이야기를 나눠보니, 이들은 모두 1) 성능, 규모, 비용에 따라 사용 사례를 맞춤화하고 2) 종속을 피하며 3) 빠르게 변화하는 분야 발전을 빠르게 활용할 수 있는 여러 모델을 테스트하고 있고 일부의 경우 프로덕션에 사용하고 있었다. 모델 순위표는 역동적이며 기업들은 최고 결과를 얻기 위해 현재 최신 모델들과 오픈 소스 모델들을 모두 통합하고자 하기 때문에 이 세 번째 부분은 리더들에게 특히 중요했다. 우리는 앞으로 더 많은 모델이 확산될 것으로 보고 있다. 설문조사 데이터를 보면 기업 리더들은 여러 모델을 테스트중이라고 했고 이는 워크로드를 프로덕션으로 푸시하는 데 사용될 모델들의 선행 지표다. 프로덕션 사용 사례의 경우, 예상대로 OpenAI가 여전히 압도적인 시장 점유율을 차지하고 있다.
6. 오픈 소스가 급성장하고 있다
이는 지난 6개월 동안 가장 놀라운 환경 변화 중 하나다. 2023년 시장 점유율은 폐쇄형이 80~90%를 차지할 것으로 예상되며, 대부분의 점유율은 OpenAI가 차지할 것으로 예상된다. 그러나 설문조사 응답자 46%는 2024년에는 오픈 소스 모델을 선호하거나 매우 선호한다고 답했다. 인터뷰에서 AI 리더들 중 약 60%는 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 성능과 거의 비슷해지면 전환할 의사가 있다고 했다. 2024년 이후 기업들은 오픈소스로의 상당한 사용 전환을 예상하고 있으며, 일부는 2023년 80% 폐쇄형/20% 개방형 분할에서 50/50 분할을 분명한 목표로 삼고 있다.
7. 비용은 오픈소스의 매력에 영향을 미치지만, 주요 선택 기준에서 제어 및 커스터마이징보다 낮은 순위를 차지했다
오픈소스를 채택하는 주요 이유로 통제(독점 데이터 보안 및 모델이 특정 결과물을 생성하는 이유 이해)와 사용자 최적화(특정 사용 사례에 맞게 효과적으로 미세 조정하는 기능)이 비용보다 훨씬 더 큰 비중을 차지했다. 비용이 최우선 순위가 아니라는 사실에 놀랐지만, 이는 생성형 AI가 창출하는 초과 가치가 가격을 훨씬 능가할 것이라는 경영진 확신을 반영하는 결과다. 한 임원은 "정확한 답을 얻는 것은 돈을 지불할 만한 가치가 있다"고 말했다.
8. 통제에 대한 욕구는 민감한 사용 사례와 기업 데이터 보안 문제에서 비롯된다
기업들은 여전히 규제나 데이터 보안 문제로 인해 자사 독점 데이터를 비공개 소스 모델 제공업체와 공유하는 것을 불편해하며, 당연히 IP가 비즈니스 모델의 핵심인 기업은 특히 보수적인 태도를 보인다. 일부 리더는 오픈 소스 모델을 직접 호스팅해 이러한 우려를 해결한 반면, 다른 리더들은 가상 프라이빗 클라우드(VPC)가 통합된 모델을 우선적으로 고려하고 있다고 언급했다
9. 리더들은 일반적으로 처음부터 모델을 구축하는 대신 미세 조정을 통해 모델을 맞춤화한다
2023년에는 블룸버그GPT와 같은 맞춤형 모델 구축에 대한 논의가 많았다. 2024년에도 기업들은 여전히 모델 커스터마이징에 관심이 있지만, 고품질 오픈 소스 모델의 등장으로 대부분의 기업들은 처음부터 자체 LLM을 학습시키지 않고 검색 증강 생성(RAG)을 사용하거나 특정 요구 사항에 맞게 오픈 소스 모델을 미세 조정하는 방법을 택하고 있다.
10. 클라우드는 여전히 모델 구매 결정에 큰 영향을 미치고 있다
2023년에는 많은 기업들은 보안상 이유로 기존 클라우드 서비스 제공업체(CSP)를 통해 모델을 구매했는데, 리더들은 CSP보다 오픈 소스 모델이 데이터를 잘못 처리할 것을 더 우려했고, 긴 조달 프로세스를 피하기 위해 클라우드 모델을 구매했다. 이는 2024년에도 마찬가지며, 이는 CSP와 선호하는 모델 간 상관관계가 상당히 높다는 것을 의미한다: 애저(Azure) 사용자는 일반적으로 OpenAI를 선호한 반면, 아마존웹서비스(AWS) 사용자는 앤트로픽(Anthropic) 또는 코히어(Cohere)를 선호했다. API를 사용해 모델에 액세스하는 기업 72% 중 절반 이상이 CSP가 호스팅하는 모델을 사용했다. (응답자 4분의 1 이상이 오픈 소스 모델을 실행하기 위해 자체 호스팅을 사용했다)
11. 고객들은 여전히 출시 초기 기능에 관심이 많다
리더들은 특정 모델을 채택하는 가장 큰 이유로 추론 기능, 신뢰성, 접근 용이성(예: CSP)을 꼽았지만, 다른 차별화된 기능을 갖춘 모델에 대한 선호도 높았다. 예를 들어, 다수 리더는 이전 20만 개 컨텍스트 창을 앤트로픽을 채택한 주요 이유로 꼽았으며, 다른 리더들은 시장 출시 초기에 사용하기 쉬운 미세 조정 기능 때문에 코히어를 채택했다
12. 즉, 대부분 기업은 모델 성능이 수렴하고 있다고 생각한다
기술 커뮤니티 대다수는 모델 성능을 공개 벤치마크와 비교하는 데 초점을 맞추고 있지만, 기업 리더들은 미세 조정된 오픈 소스 모델과 미세 조정된 폐쇄형 모델 성능을 자체 내부 벤치마크 셋과 비교하는 데 더 집중하고 있다. 흥미로운 점은 일반적으로 외부 벤치마킹 테스트에서 폐쇄형 모델이 더 나은 성능을 보임에도 불구하고 기업 리더들은 특정 사용 사례에 맞게 미세 조정하기 쉽다는 이유로 오픈 소스 모델에 상대적으로 높은 NPS(경우에 따라서는 더 높은 수치)를 부여했다. 한 기업에서는 "미세 조정 후 미스트랄과 라마 성능이 OpenAI와 거의 비슷하지만 비용은 훨씬 저렴하다"는 사실을 발견했다. 이러한 기준에 따르면 모델 성능은 예상보다 훨씬 더 빠르게 수렴하고 있으며, 리더는 매우 뛰어난 성능 모델 중에서 선택할 수 있는 범위가 넓어졌다.
13. 선택 가능성을 위한 최적화
대부분 기업은 모델 간에 전환할 때 API만 변경하면 되도록 애플리케이션을 설계하고 있다. 일부 기업은 스위치를 한 번만 누르면 변경이 가능하도록 사전 테스트를 진행하기도 하고, 필요에 따라 여러 앱에 모델을 배포할 수 있는 '모델 가든'(model gardens)을 구축한 기업도 있다. 기업들이 이러한 접근 방식을 취하는 이유는 부분적으로는 클라우드 시대에서 공급업체에 대한 의존도를 줄여야 한다는 뼈아픈 교훈을 얻었기 때문이고, 부분적으로는 시장이 너무 빠른 속도로 발전하고 있기 때문에 단일 공급업체에 전념하는 것이 현명하지 않다고 느끼기 때문이다.
14. 기업은 현재 앱을 구매하지 않고 구축하고 있다
기업들은 자체적으로 애플리케이션을 구축하는 데 집중하고 있으며, 그 이유 중 하나로 다양한 분야에서 검증된 엔터프라이즈 AI 애플리케이션이 부족하다는 점을 꼽았다. 결국, 이와 같은 앱에 대한 매직 쿼드런트는 아직 없다(아직!). 또 기초 모델은 API를 제공함으로써 기업이 그 어느 때보다 쉽게 자체 AI 앱을 구축할 수 있도록 했다. 이제 기업들은 고객 지원 및 내부 챗봇과 같은 익숙한 사용 사례 자체 버전을 구축하는 한편, CPG 레시피 작성, 판매 추천과 같은 보다 새로운 사용 사례도 실험하고 있다. 'GPT 래퍼(GPT wrappers), 또는 잘 알려진 LLM 결과물(예: 문서 요약)에 친숙한 인터페이스(예: 챗봇)를 구축하는 스타트업이 가진 차별화 한계에 대해 많은 글이 쓰여졌지만, 이들 기업이 어려움을 겪을 것으로 예상되는 이유 중 하나는 AI가 유사한 애플리케이션을 사내에 구축하는 장벽을 더욱 낮췄기 때문이다.
더 많은 기업용 AI 앱이 시장에 출시되면 이러한 상황이 바뀔지는 아직 미지수다. 한 리더는 사내에서 많은 사용 사례를 구축하고 있지만 "새로운 도구가 등장할 것"이라고 낙관하며 "현존하는 최고 도구를 사용하는것"을 선호한다고 언급했다. 또 다른 리더는 기업이 기존처럼 외부 공급업체에 의존하는 대신 특정 기능을 사내에 도입할 수 있는 '전략적 도구'로 생성AI가 점점 더 중요해지고 있다고 생각한다. 이러한 역학 관계를 고려할 때, 'LLM + UI' 공식을 뛰어넘어 기업 기본 워크플로우를 크게 혁신하거나 기업이 자체 데이터를 더 잘 활용할 수 있도록 지원하는 앱이 이 시장에서 특히 좋은 성과를 거둘 것으로 예상된다.
15. 기업들은 내부 사용 사례에 대해서는 기대가 크지만 외부 사용 사례에 대해서는 신중한 태도를 유지하고 있다.
그 이유는 1) 환각과 안전성에 대한 잠재적 문제, 2) 특히 민감한 소비자 부문(예: 의료 및 금융 서비스)에 생성AI를 도입할 때 발생하는 문제가 여전히 기업에서 크게 작용하고 있기 때문이다. 지난해 가장 인기 있었던 사용 사례는 내부 생산성에 초점을 맞추거나 코딩 코파일럿, 고객 지원, 마케팅과 같이 고객에게 도달하기 전에 사람을 거치는 방식이었다.. 아래 차트에서 볼 수 있듯이 2024년에도 이러한 사용 사례가 여전히 기업에서 주류를 이루고 있으며, 기업들은 텍스트 요약 및 지식 관리(예: 내부 챗봇)와 같은 완전히 내부적인 활용을 계약서 검토 등 사람이 개입하는 민간함 사용 사례나 외부 챗봇 또는 추천 알고리즘과 같은 고객 대면 사용 사례보다 훨씬 높은 비율로적용하고 있다.기업들은 에어캐나다 고객 서비스 사고와 같은 AI 사고로 인한 후유증을 피하고 싶어 한다. 이러한 우려는 여전히 대부분 기업에게 큰 문제로 남아 있기 때문에 이러한 문제를 제어할 수 있는 도구를 구축하는 스타트업은 상당한 채택률을 보일 수 있다.
총 기회의 규모: 방대하고 빠르게 성장
16. 2024년 말까지 모델 API와 미세 조정에 대한 총 지출이 50억 달러 이상으로 증가할 것으로 예상되며, 기업 지출이 이 기회에서 상당 부분을 차지할 것으로 예상된다.
우리 계산에 따르면 2023년 말 모델 API(미세 조정 포함) 시장은 애저를 통한 OpenAI 모델에 대한 지출을 포함해 약 15~20억 달러 런레이트(Run-rate) 매출을 기록할 것으로 예상된다. 전체 시장 예상 성장률과 기업들의 구체적인 징후를 고려할 때, 이 분야에 대한 지출만 연말까지 최소 50억 달러로 증가할 것이며, 상당한 상승 잠재력을 갖고 있다. 앞서 살펴본 바와 같이, 기업들은 생성AI 배포에 우선순위를 두고 예산을 늘려 표준 소프트웨어 라인에 재할당하고 다양한 모델에 걸쳐 사용 사례를 최적화했으며 2024년에는 더 많은 워크로드를 생산에 투입할 계획이므로 이러한 성장의 상당 부분을 차지할 것으로 보인다.
지난 6개월 동안 기업들은 하향식으로 생성AI 솔루션을 찾고 배포하라는 명령을 내렸다. 과거에는 1년 이상 걸리던 거래가 2~3개월 만에 성사되고 있으며, 이러한 거래는 과거에 비해 훨씬 더 큰 규모로 이뤄지고 있다. 이 글에서는 기초 모델 계층에 초점을 맞추었지만, 기업에서 이러한 기회는 미세 조정을 지원하는 툴링, 모델 제공, 애플리케이션 구축, 특수 목적 AI 네이티브 애플리케이션에 이르기까지 스택의 다른 부분으로 확장될 수 있다고 생각한다.
