스타트업이 LLM을 활용하는 방법
[트렌드클럽] 4회차 현장스케치&요약본
요즘 제일 핫한 키워드는 어딜 가나 AI입니다. 특히 스타트업 생태계에서는 창업, 취업, 투자부터 정책까지 전영역에서 다음 AI 트렌드는 무엇이고, 넥스트 오픈AI, 넥스트 SORA는 어디일지 주목하고 있는데요. 스타트업 업계가 꼭 알아야 할 AI 트렌드는 무엇인지 알려드리기 위해, 트렌드클럽이 AI 특집을 준비했습니다. 많은 주제 중에서도 특히 생성형AI의 기반이 되는 LLM, 즉 대규모언어모델(Large Language Model)에 대해 알아보고 있는데요.
10월 네 번째 트렌드클럽에서는 검색, 보안, 생산성 영역에서 LLM을 활용해 다양한 비즈니스를 하고 있는 세 스타트업의 발표가 있었습니다. LLM을 활용한 다양한 비즈니스를 하고 있는 스타트업들의 이야기가 궁금하신 분들은 꼭! 집중해주세요! 네 번째 트렌드클럽 요약, 지금 시작합니다!
*트렌드클럽은 저녁 시간을 활용해 스타트업 업계 트렌드와 동향을 전하는 행사입니다. 다음 트렌드클럽 소식이 궁금하신 분은 스얼레터를 구독하시면 가장 먼저 소식을 받아보실 수 있습니다!
*현장에 참석해주신 분들을 위해 요약본에서는 모든 강연 내용을 담지 않습니다. 궁금하신 분들은 테헤란로트렌드클럽을 찾아주세요! :)
AI 검색, AI 보안, AI 생산성... LLM 활용, 어디까지?(10.22.)
0. 들어가기 전에
스타트업얼라이언스가 조사한 바에 따르면 100대 글로벌 유니콘 중 AI 기술・서비스・솔루션 등 제품을 개발하거나 운영하고 있는 기업은 21개입니다. 이들의 기업가치는 총 5,691억 달러로 100대 유니콘 전체 기업가치 1조 7,433억 달러의 32.7%를 차지할 정도입니다(리포트 보러가기).
*출처: 스타트업얼라이언스, 스타트업 생태계 동향 리포트 '100대 글로벌 유니콘 시리즈 - AI편')특히 LLM을 활용한 AI 스타트업들에 대한 관심이 뜨겁습니다. 글로벌리 가장 핫한 AI 스타트업인 Perplexity
는 서비스 런칭 후 불과 2년도 되지 않은 시점에 유니콘이 되었고, 현재는 기업가치 80억 달러(한화 약 11조원)를 목표로 후속 투자 유치에 나섰습니다. Perplexity는 LLM을 기반으로 대화형 AI 검색 서비스를 제공하는데, 웹에서 실시간으로 최신 정보를 보여주고, 모든 답변에 출처를 제공한다는 점에서 큰 장점이 있습니다.
국내에는 어떤 스타트업들이 LLM을 활용한 프로덕트를 개발하고 있을까요? 그리고 LLM은 어디까지 활용될 수 있을까요? LLM이 가져온 변화를 빠르게 캐치하고 프로덕트에 적용하고 있는 세 스타트업의 이야기를 들어보시면, 답을 얻을 수 있습니다. 바로 이커머스 광고 추천 솔루션으로 시작해 여러 LLM 프로덕트를 만들고 있는 Corca, AI 기반 실시간 위협 탐지 기술력으로 글로벌 시장에서도 주목받고 있는 AISpera, 그리고 업무 생산성을 높이기 위한 솔루션을 개발하고 있는 NextIntelligence입니다.
1. Corca 정영현 대표님 - 빅테크 모델 활용해 다양한 프로덕트 만들기
Corca 정영현 대표님Corca는 AI 기반 이커머스 광고 추천 시스템으로 주목받는 기업입니다. AI 추천시스템 분야에서 권위 있는 학회가 주관한 AI 추천시스템 대회에서 세계 7위, 국내 1위를 차지한 기업이자, 중소벤처기업부가 선정한 2024 아기유니콘이기도 합니다. 정영현 대표님은 Corca가 광고 추천 시스템을 개발하면서 LLM을 도입한 계기에 대해 설명했습니다. "기술에 큰 발전이 있을 때마다, 그 기술을 광고 추천에 잘 접목시켜온 기업들이 거대 기업으로 성장해왔습니다. 저는 LLM이라는 큰 기술을 광고 추천에 접목하면 큰 변화를 일으킬 수 있을 것이라 생각하고 다양한 시도를 해왔습니다".
정 대표님은 2021년 10월에 Corca를 창업했습니다. ChatGPT가 2022년 11월에 출시되었으니 아직 LLM이 시장에서 주목받기 전인데요. 2022년 7월에는 한 강연에서 이런 말씀을 하셨다고 합니다. "If your business is not on the LLM, then your business will be out of business". 빌게이츠가 1990년대에 인터넷을 기반으로 하지 않은 비즈니스는 모두 없어질 것이라고 말한 것과 마찬가지로, 앞으로는 LLM을 기반으로 하지 않은 비즈니스는 찾아보기 어려울 것이라는 거죠. 지금은 LLM이 더욱 빠른 속도로 발전하고 있고, 비용도 크게 감소하고 있어 더더욱 활용도가 높다고 정 대표님은 설명했습니다.
"저희 같은 작고 귀여운 스타트업들은 오픈AI나 메타 같은 빅테크기업들이 만든 모델에 주목해야 합니다. 파운데이션 모델을 직접 만드는 것은 현실적으로 불가능하니까요. 빅테크기업들이 만든 모델이 앞으로 6개월 후, 1년 후 우리가 원하는 수준에 도달했다고 가정하고, 그 모델을 가지고 무엇을 할 수 있을지에 집중해야 합니다". Corca는 올해 상반기부터 LLM이 어느 정도 궤도에 올랐다고 보고, 광고 추천 분야뿐만 아니라 다양한 분야의 프로덕트를 만들고 있습니다. 벌써 31개의 프로덕트를 시도했다고 하네요. Corca의 다음 프로덕트가 궁금해집니다!
2. AI Spera 강병탁 대표님 - 머신러닝에서 LLM으로, 빠르게 전환하기
AI Spera 강병탁 대표님두 번째 연사는 AI Spera 강병탁 대표님입니다. AI Spera는 AI 기반 실시간 위협 탐지 기술력으로 글로벌 시장에서도 주목받고 있는 기업입니다. 강 대표님은 AI라는 키워드가 지금처럼 주목받기 전인 2017년에 AI Spera를 창업했습니다. AI Spera의 또 하나의 특징은, 강 대표님을 비롯한 직원들 중 넥슨, 네오플과 같은 게임회사 출신이 많다는 건데요. 미국에서는 블리자드 보안팀 출신들이 사이버보안 스타트업을 만드는 사례가 있지만, 국내에서는 AI Spera가 거의 유일할 것이라고 하네요.
AI Spera가 6년이라는 시간동안 공들여 개발한 위협 인텔리전스 검색엔진인 '크리미널 IP(Criminal IP)'는 구글이나 네이버처럼 검색 엔진의 형태를 하고 있다는 것이 가장 큰 특징입니다. 크리미널 IP는 "사이버보안 분야에서 사용자가 원하는 정보를 찾을 수 있는 검색엔진은 왜 없을까?"라는 질문에서 출발했습니다. "구글에서 'Microsoft'를 검색하면 관련된 모든 웹사이트들이 나오는 것처럼, 크리미널 IP에서 'Microsoft'를 검색하면 마이크로소프트와 연관된 보안 취약점, 우리가 식별한 위협 정보들이 모두 보이게 됩니다".
강 대표님은 그간의 경험을 바탕으로 LLM 이전의 개발과 이후의 개발을 비교했는데요. AI Spera 역시 머신러닝 알고리즘이나 초보적인 AI 알고리즘을 사용해왔는데, LLM을 적용하니 압도적인 정확도를 얻을 수 있었다고 합니다. 다행히 대표님 본인이 개발자이기 때문에 빠른 의사결정과 전환이 가능했다고요. "개발자들은 보통 본인이 만든 결과물을 자기 자식처럼 생각합니다. 때문에 이전에 썼던 모델을 버리고 다른 모델로 갈아타는 것을 용납하기 힘들어하는 분들도 많죠. 하지만 거기에 너무 매몰되어 있으면 안됩니다. AI 개발자라면, LLM으로 세상이 어떻게 바뀌고 있고 LLM을 어떻게 활용할 수 있을지 생각해봐야 합니다".
3. 넥스트인텔리전스 박종천 AI어드바이저님 - LLM으로 개인과 기업의 생산성 올리기
이날 마지막 연사는 NextIntelligence의 박종천 AI어드바이저님입니다(트렌드클럽 1회차에서 우리에게 LLM이란 무엇인지 설명해주셨던 분이기도 하죠!). NextIntelligence는 'New Standard of Email'이라는 컨셉 하에, AI를 통해 일하는 방식을 바꾸는 것을 목표로 솔루션을 만들고 있는 스타트업입니다. "보통 사람들이 하루에 8시간을 일한다고 하면, 그중 절반인 4시간이 목적의 오류로 사라진다고 합니다. 회사 내에 정보의 오류, 정보의 부족으로 인해 허비되는 시간이 생각보다 매우 많은거죠. 또한 역량과 기술의 오류로 인해, 즉 우리의 능력이 부족하거나 좋지 않은 도구를 사용해 사라지는 시간이 2시간입니다. NextIntelligence의 '오피스메일 AI(OfficeMail AI)'는 이런 문제를 해결하기 위해 출발했습니다".
LLM으로 우리는 어떻게 일하는 방식을 바꿀 수 있을까요? NextIntelligence는 우리가 일할 때 가장 많이 사용하는 이메일에 집중했고, 사람들에게 이메일로 업무를 처리할 때 가장 힘든 것이 무엇인지부터 조사했다고 합니다. 원하는 이메일을 찾는 것, 중요한 이메일을 놓치는 것, 스팸메일이 너무 많은 것, 그리고 마지막으로 이메일 자체가 너무 많은 것, 이 네 가지가 가장 큰 어려움으로 꼽혔다고 하네요. NextIntelligence는 이메일을 요약, 번역하는 서비스를 빠르게 개발하고 있고, 앞으로 더 많은 기능을 오피스메일 AI에 담을 계획이라고 합니다.
박 AI어드바이저님은 기업들에 LLM, AI 컨설팅을 해주고 계시기도 한데요, AI를 기존 서비스에 적용하거나 새롭게 개발하고자 하는 분들을 위한 팁도 이야기해주셨습니다. "많은 기업들에 컨설팅을 하다보면 다들 ChatGPT의 한계에 묶여있는 경향이 있습니다. LLM을 기반으로 서비스를 만들면 꼭 채팅 베이스로 만드는 거죠. 그보다는 기존의 프로덕트에 AI를 적용했을 때 서비스가 얼만큼 많이 바뀔 수 있는지 상상해보는 것이 중요합니다". NextIntelligence의 오피스메일 AI는 곧 베타 서비스를 오픈할 계획이라고 하니, LLM으로 우리의 이메일 업무가 얼마나 달라질지 상상해보는 것도 좋겠습니다.
4. 패널토크와 Q&A
세 분의 발표에 이어, 티타임즈 홍재의 기자님이 모더레이터를 맡아 패널토크와 Q&A를 진행해 주셨습니다. 홍 기자님이 준비해주신 질문들과 함께 현장에서도 많은 분들이 질문을 주셨고, 많은 이야기들이 오갔는데요. 지면상 모두 담지는 못하지만 핵심 질문과 답변을 요약해드립니다.
(좌측부터) 티타임즈 홍재의 기자님, 박종천 AI어드바이저님, 정영현 대표님, 강병탁 대표님Q. (강병탁 대표님께) 알고리즘을 활용할 때보다 LLM을 활용할 때 훨씬 성능이 좋아졌다고 하셨는데 신뢰도 면에서도 그런지?
A. (강병탁 대표님) 네, 알고리즘을 활용할 때와 LLM을 활용할 때를 전체 통계를 내서 비교해봤습니다. AI 보안 분야에서는 생각보다 오탐, 즉 잘못 탐지하는 경우가 생각보다 많습니다. 때문에 반드시 사람이 붙어서 검증하는 프로세스가 필요한데요. LLM을 활용하면 오탐의 비율이 압도적으로 줄어듭니다. 물론, 오탐을 완전히 없앨 수는 없지만 그래도 비교가 불가할 정도로 성능이 좋아졌다고 볼 수 있습니다.
Q. (정영현 대표님께) 페인포인트(Pain point)를 찾고 그것을 LLM으로 바꾸는 것이 중요하다고 하셨는데, 그 페인포인트는 어떻게 잘 찾을 수 있을지?
A. (정영현 대표님) 저희는 LLM 이전에도 AI 컨설팅을 해왔는데, 보통 기업의 C레벨 분들과 어떤 문제를 AI로 해결할지 대화하면서 페인포인트를 찾습니다. 그런데 아까 박종천 AI어드바이저님도 말씀하셨지만, 최근에는 LLM은 무조건 대화 형식이어야 한다고 생각하고 그런 식으로 해결할 수 있는 문제들을 가져오는 경우가 많습니다. 그보다는 정말 실제로 문제가 되는 분야, LLM이 잘할 수 있는 분야를 찾는 것이 더 중요합니다.
Q. (박종천 AI어드바이저님께) AI 서비스를 기획하고 개발하는 일련의 과정을 설명해주실 수 있는지?
A. (박종천 AI어드바이저님) 어떤 프로덕트를 개발하면서 인지도나 기능 면에서 한계를 느낀 기업들이 AI를 적용하겠다는 의사결정을 하는 것이 첫 번째입니다. 그 다음이 가장 중요한데, 프로덕트의 기능을 AI로 재설계하기 위해서는 AI를 제대로 이해한 기획자, LLM을 잘 아는 엔지니어(프롬프트 엔지니어, 또는 LLM 엔지니어)를 찾는 것이 필수적입니다. LLM 개발을 시도하려는 회사라면 사내 기획자가 LLM 기획자로 변신할 수 있도록, 특히 개발자 중 한 명은 프롬프트 엔지니어로 성장시킬 수 있도록 미리 준비하면 좋습니다. 6개월 정도 투자하면 괜찮은 AI 기획자, AI 개발자로 성장할 수 있어요.
Q. (정영현 대표님께) Corca는 LLM 엔지니어를 어떻게 찾고 계시는지?
A. (정영현 대표님) LLM이라는 것 자체가 생긴 지 얼마 안되었기 때문에 LLM 엔지니어는 흔치 않습니다. 저희 역시 내부에서 머신러닝 개발자나 백엔드 엔지니어들을 LLM 엔지니어로 전환시키는 작업을 하고 있어요. 프롬프트 엔지니어링 능력 뿐 아니라, 실제로 사람들에게 가치를 주는 LLM 서비스를 구축할 수 있는 인재로 성장하게 돕고 있습니다.
Q. (공통질문) LLM이 더욱 발전하면서 경쟁자가 많아지면 빅테크와 같은 큰 기업들이 더 유리한 것은 아닌지? 한 가지 버티컬한 분야에 집중을 하는 것이 답인지?
A. (정영현 대표님) 정말 빠르게 변화하고 있기 때문에 리스크를 안는 것은 필요합니다. 그럼에도 불구하고 저희는 커스터마이징이 필요한 B2B 프로덕트에 집중하고 있는데, 결국 아무리 범용적인 것이 나오더라도 정말 가치있는 것을 만드는 데에는 커스터마이징이 필요하다고 생각하고 있기 때문입니다.
A. (강병탁 대표님) 보안 분야에서 AI는 메인이라기보다는 양념에 가깝습니다. AI가 없더라도 보안시스템은 작용할 수 있지만 LLM을 기반으로 AI를 적용했을 때 성능이 더 좋아지는 것이죠. 어느 것이 훌륭한 모델이냐보다는, 그 모델을 활용해서 얼마나 훌륭한 제품을 만들었는지가 더 중요하다고 생각합니다.
Q. (공통질문) AI 기획자를 채용할 때 어떤 면을 중요하게 생각하시는지? 어떤 역량이 중요한지?
A. (박종천 AI어드바이저님) 많은 분들이 인박스(In-box)로 생각하는 경향이 있는데, 아웃오브박스(out-of-box)로 생각을 할 수 있어야 합니다. 저 역시 서비스를 만들면서 기존의 솔루션이 하나도 참고가 되지 않는 경험을 했습니다. 기존의 UI, 기존의 UX를 벗어나 AI가 할 수 있는 영역을 찾아야 합니다. 물론 하루아침에 되는 것은 아닌데요, AI 기반으로 생각을 하는 노력이 필요합니다.
A. (정영현 대표님) AI 기획 경험이 있는 사람은 정말 드뭅니다. 그래서 결국은 기획자로서 기본기를 가장 먼저 보고, 그 다음에는 GPT와 같이 일반 사람들이 경험할 수 있는 모델을 기반으로 기획해본 경험, 피드백을 받고 개선해나간 경험이 있으면 플러스가 될 것 같아요. 추가로 말씀드리면, LLM으로 완전히 패러다임이 바뀌었기 때문에 저는 프로덕트 디자이너를 채용할 때에도 완전히 새로운 패러다임 속에서 이전에 없던 새로운 UX를 만들 수 있는 사람을 채용하고 있습니다. 기획자도 마찬가지입니다. 기존에 없었던 것들을 해낼 수 있는 사람을 채용하려고 하고 있습니다.
A. (강병탁 대표님) 저는 두 가지를 봅니다. 첫 번째는 불만이 많은지인데, 경쟁 제품 대비 더 좋은 제품을 기획하기 위해서는 우리 제품을 개선할 의지가 있어야 하기 때문입니다. 프로불편러들, 기존의 제품에 불만이 많고 바꾸고자 하는 분들이 좋습니다. 두 번째는 약간 또라이 기질이 있는 사람입니다(웃음). 너무 진지한 분들보다는 새로운 생각을 하는 사람이 더 좋은 기획을 할 수 있습니다.
Q. (공통질문) LLM으로 기획을 잘하고 싶은 사람, LLM을 적용하고 싶은 분들에게 당장 오늘부터 무엇을 해야 할지 조언한다면?
A. (정영현 대표님) 최근 나온 책 두 권을 읽는 것을 추천합니다. 첫 번째는 AI미래포럼 오순영 의장님과 국네이버클라우드 하정우 센터장님이 쓴 <2025 AI 대전환: 주도권을 선점하라>이고, 두 번째는 <박태웅의 AI 강의 2025>입니다. 최신 정보를 담은 책이니 꼭 읽어보시기를 권합니다. 그 다음으로는 실제로 조금이라도 프롬프트를 써는 것, 그리고 실생활에서 개선하고 싶은 일들에 AI를 적용해보는 것을 추천합니다.
A. (강병탁 대표님) 저희 회사에서는 보안와 관계없이 업무에 LLM을 굉장히 많이 쓰고 있는데, 개발자가 아닌 분들은 어떻게 시도해야하는지 알기 어려운 경우가 많습니다. 저는 회사 차원에서 그분들과 인터뷰를 해서 원하는 데이터가 무엇인지, 그것을 어떻게 ChatGPT로 해결할 수 있는지 보여준다면, 개발자가 아니더라도 굉장히 큰 생산성 변화를 가져올 수 있을 것이라고 생각합니다.
네 번째 트렌드클럽 요약본, 잘 보셨나요? LLM을 어디까지 활용할 수 있을지, 잘 활용하는 방법은 무엇일지 많은 분들과 함께 고민해보는 시간이었습니다. 다음은 11월 18일 진행될 올해 마지막 트렌드클럽, "개발자, 기획자, 마케터! 현업 실무자들의 LLM 활용 리얼스토리" 요약본으로 돌아오겠습니다. 마지막 트렌드클럽을 기다리신 분들은 지금 링크를 클릭해 신청해주세요! 다음에 또 만나요!
