LLM, 우리 회사는 이렇게 씁니다만
[테헤란로트렌드클럽] 스타트업부터 대기업까지, LLM활용 실전편 요약본
요즘 제일 핫한 키워드는 어딜 가나 AI입니다. 특히 스타트업 생태계에서는 창업, 취업, 투자부터 정책까지 전영역에서 다음 AI 트렌드는 무엇이고, 넥스트 오픈AI, 넥스트 SORA는 어디일지 주목하고 있는데요. 스타트업 업계가 꼭 알아야 할 AI 트렌드는 무엇인지 알려드리기 위해, 테헤란로트렌드클럽이 AI 특집을 준비했습니다. 많은 주제 중에서도 특히 생성형AI의 기반이 되는 LLM, 즉 대규모언어모델(Large Language Model)에 대해 알아보고 있는데요. 8월 두 번째 트렌드클럽에서는 LLM을 실제로 비즈니스에 활용하고 있는 기업들을 만나봤습니다. 이날도 많은 분들이 &Space를 꽉꽉 채워주셨습니다. 두 번째 트렌드클럽 요약, 시작합니다!
*테헤란로트렌드클럽은 올해 스타트업얼라이언스가 새롭게 런칭한 행사로, 저녁 시간을 활용해 스타트업 업계 트렌드와 동향을 전하는 행사입니다. 다음 트렌드클럽 소식이 궁금하신 분은 스얼레터를 구독하시면 가장 먼저 소식을 받아보실 수 있습니다!
*현장에 참석해주신 분들을 위해 요약본에서는 모든 강연 내용을 담지 않습니다. 궁금하신 분들은 테헤란로트렌드클럽을 찾아주세요! :)
스타트업부터 대기업까지, LLM 활용 실전편(8.20.)
8월 20일, AI 특집 두 번째 트렌드클럽에서는 GPT를 기반으로 타로카드, B2B SaaS까지 다양한 서비스를 운영하는 원지랩스의 곽근봉 대표님, 대규모 중고거래를 효율적으로 관리하기 위해 AI를 도입한 당근 ML인프라팀 유경윤 리더님, 생성형 AI로 빅테이터 접근성, 활용성을 해결해 실제 개발과 업무에 적용하고 있는 LG전자 우정훈 상무님까지, LLM을 실전에 활용하고 있는 다양한 기업 사례를 한 자리에서 들어봤습니다.
1. 고객 1명에 집중해 좁은 문제를 해결하는 스타트업, 원지랩스
첫 번째 발표자는 원지랩스(1ZLABS)의 곽근봉 대표님이었는데요. 곽 대표님은 먼저, LLM을 기반으로 운영하고 있는 원지랩스의 네 가지 서비스를 소개했습니다. 첫 번째는 AI 점술 서비스, 마이타로입니다. 마이타로는 GPT를 활용해 실제 점술가와 대화하는 것처럼 타로카드 서비스를 이용할 수 있습니다. 두 번째 서비스는 AI로 보도자료를 생성하고 배포해주는 서비스, AIPR입니다. 생성형 AI가 1차로 작성해준 보도자료를 직접 검토하고 수정할 수 있고, 이 기사를 내보낼 것으로 생각되는 기자를 매칭해 배포할 수도 있다고 하네요. 세 번째 서비스는 크리에이티브AI라는 솔루션인데요. 기존의 상품 이미지를 활용한 제품의 배너 이미지를 자동으로 생성해주거나, 텍스트를 기반으로 원하는 이미지를 검색할 수 있는 엔진입니다. 실제로 디자이너들의 리소스를 굉장히 줄여줄 수 있다고 합니다. 마지막은 AiKen, 증권사의 레거시 코드를 현대화해주는 솔루션입니다.
원지랩스는 이외에도 여러 프로젝트를 준비하고 있다고 하는데요, 원지랩스가 제공하는 서비스들의 공통점, 혹시 눈치채셨나요? 곽 대표님은 원지랩스의 강점이 이미 시장이 존재하는 영역의, 좁은 문제에 포커스를 맞추는 것이라고 합니다(Hyper Vertical). 또한 모두를 만족시킬 수 있는 범용 제품을 만들기보다는 고객 1명에게 집중해 문제를 풀어보는 경우가 많고(Fully Customize), 사람을 대체하는 영역보다는 사람을 강화하는(Co Pilot) 기능에 집중한다고 합니다. "LLM을 효율적으로 사용하는 데 중요한 것은 AI를 쓰느냐 안쓰느냐가 아니라 생산성을 높이기 위해서는 어떻게 시스템을 설계하느냐입니다." 또한 초반부터 너무 많은 테스트를 하기보다는, 서비스를 빠르게 배포하고 지속적으로 튜닝하는 피드백 사이클을 만드는 것이 중요하다고 하네요!
2. 머신러닝에서 이제는 LLM으로, 당근
두 번째 발표자는 당근 유경윤 ML인프라팀 리더님입니다. 우리 모두가 아는 당은 중고거래부터 커뮤니티까지, 동네를 기반으로 다양한 서비스를 하고 있는데요. 당근은 사실 원래부터 머신러닝을 잘 활용해 왔다고 합니다. 개인화 추천 서비스, 광고 타겟팅, 카테고리 자동완성, 그리고 부적절한 콘텐츠를 걸러내고 제재하는 역할까지, 앱 사용성을 개선하기 위한 다양한 영역에 머신러닝이 적용되어온 당근이, 지금은 LLM에 큰 관심을 갖고 있다는데요. 그 이유는 바로 서비스의 다양한 문제를 더 쉽게 해결할 수 있기 때문입니다.
유 리더님은 당근의 세 가지 LLM 적용 사례를 소개했습니다. 먼저 첫 번째로, 동일한 카테고리와 브랜드의 제품을 추천하는 기능입니다. 중고거래에 올라온 특정 브랜드 신발이 있다면, 그 이미지와 게시글을 바탕으로 LLM이 브랜드와 카테고리를 판단하도록 하고, 그 다음부터는 같은 브랜드, 같은 카테고리의 매물이 올라왔을 때 사용자에게 보여주는 것입니다. 두 번째는 커뮤니티 기능의 사용성 개선을 위한 적용인데요, 커뮤니티에 특정 식당에 대한 게시글이 올라오면 그 식당 이름을 추출해 지도에서 검색한 결과를 자동으로 띄워주는 기능입니다. 사용자가 신경쓰지 않아도 지도뷰까지 붙어있는 게시글을 쓸 수 있는 것이죠. 마지막으로 세 번째는 사진 한 장으로 매물 정보를 자동 완성해주는 부동산 판매글 작성 기능입니다.
당근은 이렇듯 LLM을 활용한 생성형 AI가 프로덕트, 서비스에 빠르게 도입될 수 있도록 데이터 파이프라인도 구축했습니다. 모든 엔지니어가 같은 파이프라인을 활용하기 때문에, 당근 안에서 실시간으로 생성되는 데이터를 가공해 빠르게 서비스를 개발할 수 있다는 건데요. 가장 큰 장점은 속도지만, 특정 데이터셋을 학습한 모델보다 더 큰 데이터를 활용한 모델이기 때문에 결과가 훨씬 좋다고 합니다. 또한 기술적인 허들이 낮아서 엔지니어가 아닌 멤버들도 서비스 개발에 참여할 수 있는 것도 큰 장점이라고 하네요. "머신러닝을 활용할 때에는 서비스 개발과정이 복잡하고 머신러닝을 잘 이해하는 엔지니어가 꼭 필요하지만, LLM은 경험이 적은 엔지니어도 서비스 개발을 원활하게 할 수 있어요." 특히 당근은 조직 안에서도 생성형 AI 해커톤을 하고 있다고 하는데요, 누구든지 LLM을 활용해 좋은 서비스를 만들 수 있고 빠르게 해결할 수 있다는 공감대가 생겼다고 합니다.
3. LLM으로 생각의 속도를 따라잡는 LG전자
마지막 발표자는 LG전자에서 데이터 총괄을 맡고있는 우정훈 상무님입니다. LG전자는 현재 생산성 개선을 위해 LLM을 활용하고 있다고 하는데요. 우 상무님은 우선 기업에서 데이터를 제대로 활용하기가 어려운 이유에 대해 설명했습니다. "기업에서 보통 데이터를 활용하려면 로데이터(raw data)를 분석하고 인사이트를 찾고 실제 액션아이템(action item)을 찾아 실행(action)에 옮기기까지 많은 비용이 발생합니다. 많은 단계를 거쳐야하기 때문이죠. 이 과정을 축소해서 로데이터에서 실행(action)까지 한 번에 갈 수 있어야 ROI(투자대비수익률)가 나옵니다. 이것을 가능하게 하는 게 LLM이죠." 데이터를 찾고, 분석 코드를 만들고, 분석 결과를 해석하고, 시사점을 찾기까지 과정의 대부분이 LLM이 잘할 수 있는 영역이기 때문이라고 우 상무님은 설명했습니다.
LG전자는 실제로 LLM을 어떻게 활용하고 있을까요? 대표적으로는 제품 기획과 개발을 위한 빅데이터 분석 솔루션인 '찾다(CHATDA)'가 있습니다. 제품의 운전 모듈을 분석해 특정한 제품이 특정 지역에서 주로 어떻게 운전하고 있는지 분석할 때 용이하다고 하는데요, 이런 작업은 소프트웨어에 비해 배포 비용이 상당한 하드웨어 제품을 개발할 때 특히 중요하다고 합니다. LG전자가 주력하고 있는 가전제품을 예로 들면, A라는 나라에서는 고객들이 x기능을 중점적으로 활용하는 반면, B라는 나라에서는 고객들이 y기능을 중점적으로 쓰는 경우에 B나라에 신제품을 출시할 때에는 y기능에 더 집중하는 전략을 쓸 수 있다는 것이죠. 이전에도 사용자 경험을 분석해 제품을 개발해왔지만, 이전에는 며칠씩 걸리던 작업을 LLM을 활용해 상당히 단축할 수 있었다고 합니다.
우 상무님은 지난 2년 동안 LLM을 활용하는 여러 (다른 형태의 - 업무 생산성 개선에 대한 - 마케팅/제품개발/상품기획/품질 등 영역의) 프로젝트를 진행하고 성공과 실패 사례를 통해, LLM이 잘하는 것과 잘하지 못하는 것들을 파악할 수 있었다고 하는데요. 언어를 기반으로 한 작업, 예를 들어 비정형 데이터를 해석, 분류, 요약, 번역하는 작업에서는 활용도가 높지만, 높은 정확도를 요구하는 수학 계산과 같은 작업에서는 LLM을 활용하는 것이 적절하지 않을 수 있습니다. 또한 파운데이션 모델의 성능과 가격에 대해서도 기업으로서 고민할 수밖에 없었다고 하는데요. 경험상 처음에 어떤 모델을 활용하면서 발생했던 문제들이 그 다음 버전의 모델이 출시되면 빠르게 해결되었기 때문에 앞으로는 이런 고민이 줄어들 것이라고 우 상무님은 설명했습니다. "모든 일에는 기회비용이 있습니다. 우리가 해야 할 것과 하지 말아야 할 것, 기다리면 해결되는 것. 이런 부분들을 잘 생각해, LLM을 활용한다면 많은 문제를 해결할 수 있습니다."
4. 패널토크와 Q&A
세 분의 발표 후에는 사전에 청중들이 보내주신 질문을 바탕으로 패널토크와 현장 Q&A를 진행했습니다. 패널토크 모더레이터로는 1회차 트렌드클럽에서 LLM의 모든 것을 설명해주셨던 나인폴더스 박종천 고문님(*현재는 사명과 직함이 바뀌어 넥스트인텔리전스 AI어드바이저)을 다시 모셨습니다. 정말 많은 분들이 사전질문을 보내주셨고, 현장에서도 많은 질문을 올려주셨는데요, 지면상 모두 소개해드릴 수는 없지만 중요한 질문과 답변들을 요약해드릴게요!
Q. (유경윤 리더님께) LLM을 활용하지 않는 직장인이나 일반인도 많습니다. 앞으로 LLM이 기업 혹은 개인에게 얼마나 더 비중있게 사용될 것이라고 보시나요?
A. (유경윤 리더) LLM 혹은 생성형 AI는 많은 문제를 해결하는 데에 좋은 도구인 것은 사실입니다. 더 많이 사용될 것이라고 생각해요. 하지만 우선 내가 풀어야 할 문제가 무엇인지 생각해보시는 것이 가장 중요할 것 같습니다. 내가 풀고자 하는 문제가 LLM으로 풀기 좋은 문제인지, 혹은 정말로 풀어야 하는 문제인지를 먼저 생각해야 합니다.
Q. (곽근봉 대표님께) LLM 기술은 대부분 영어권에 초점이 맞춰져 있는데 한국어 기반 서비스를 만들기 위해 따로 중요하게 생각하신 것이 있나요?
A. (곽근봉 대표) GPT-4가 나오고나서는 한국어 성능이 굉장히 많이 향상되었습니다. 앞으로는 점점 더 좋아질 것이라고 생각합니다. 대신 프롬프팅할 때 여전히 영어가 성능이 훨씬 좋긴 한데요, 프롬프트를 영어로 할지 한국어로 할지는 고민하기는 합니다. 예를 들어 일반적인 분류의 경우에는 영어로 하는 것이 훨씬 성능이 좋을 수 있지만, 저희 서비스처럼 사주와 같이 한국에 특화된 것을 만들 때에는 오히려 한국어로 프롬프팅하는 것이 성능이 좋을 때도 있습니다. 이런 차이를 이해한 다음 계속 튜닝해 나가는 것이 좋을 것 같아요.
Q. (우정훈 상무님께) 최근 기업들이 자체 LLM을 구축해야 한다고 주장하는 분도 있는데 현실적으로는 투자도 많이 필요하고 기술적으로도 쉽지 않습니다. 어떻게 생각하세요?
A. (우정훈 상무) 중요한 질문입니다. 두 가지로 나누어 생각해야 할 것 같아요. 만약 조직 내부에서 일하는 방식을 혁신하는 측면에서, 리스크가 적은 팀 단위, 개인 단위에서 LLM을 활용한다면 효율성을 위해 기존 파운데이션 모델을 활용하는 것이 나을 텐데요, 반면 제품에 LLM을 도입한다면 사용시에 문제가 발생하지 않도록 컨트롤이 가능한 자체 모델을 활용하면 좋을 것입니다. 특히 전자제품은 물과 전기를 사용하기 때문에 문제가 발생하면 치명적입니다. 리스크가 무엇인지 고민해보고 활용하면 좋을 것 같아요.
Q. (곽근봉 대표님께) 스타트업에서 LLM을 도입할 때 필요한 최소한 인력은 몇 명인가요? 그리고 어떤 역할을 하는 사람을 뽑아야 할까요?
A. (곽근봉 대표) 발표에서 보여드린 사례 말고도 저희가 만들고 있는 제품이 많습니다. 프로젝트로만 따지면 10개에서 12개를 하고 있는데, 저희 회사 구성원은 총 8명이고 개발자는 저를 포함해 3명입니다. 실질적으로는 2명의 개발자가 개발을 하고 있는 거죠. 심지어 이중 한분은 마케터로 채용했다가 작년에 개발자로 전직하신 경우입니다. 저는 내부 구성원들을 슈퍼휴먼이라고 부르는데요, 구성원 한 명 한 명이 팀 하나, 혹은 회사 하나 정도의 퍼포먼스를 내도록 지원과 교육을 많이 해드리고 있습니다. 질문에 답하자면, 최소 인력은 한 두명이어도 가능하다고 봅니다.
Q. (유경윤 리더님께) 당근은 사내 해커톤을 해봤다고 하셨는데요, 혹시 LLM 해커톤 운영 꿀팁이 있을까요?
A. (유경윤 리더) 꿀팁까진 아니더라도 저희가 신경쓴 부분을 공유드리자면, 정말 각종 LLM API를 다 준비했습니다. 저렴한 모델부터 비싼 모델까지, 그리고 이미지 생성 모델까지 다 쓸 수 있게 준비해서, 널리 활용해볼 수 있었던 것이 장점이었고요. 해커톤을 하는 이유는 여러 사례를 개방하고 사람들이 시도하게 하는 것에 있기 때문에, 개발자가 아니어도 참여할 수 있게, 누구든지 시도할 수 있게 인프라를 확장성 있게 준비했던 것이 중요했다고 생각합니다.
Q. (공통질문) LLM 시장 트렌드는 정말 빠르게 변화하고 있는데, 어떤 방법으로 트렌드를 확인하시나요?
A. (우정훈 상무) 저는 링크드인, 유튜브, 페이스북, 이 세 가지를 주로 봅니다. 뭘 팔로우하냐면, 일단은 엔비디아, 오픈AI 같은 대표적인 기업의 창업자 인터뷰를 팔로우하고, 두 번째로는 AI 기반으로 창업하거나 잘 활용하고 있는 기업 사례들을 팔로우합니다.
A. (곽근봉 대표) 우선 종천님 페이스북을 팔로우하는 것이 가장 좋습니다! (웃음) 저도 우 상무님과 비슷한 채널을 주로 보는데 이외에는 긱뉴스(Geek News)를 구독하고 슬랙에 연동해 주기적으로 체크하고 있고요, 지피터스(GPTers)라는 한국 AI 커뮤니티 뉴스레터도 구독하고 있습니다. 이것들을 슬랙에 연동하거나 알림 설정해 주기적으로 업데이트가 있을 때마다 확인하면 좋습니다.
A. (유경윤 리더) 저도 다른 분들과 비슷한데, 추가로 사내에서 슬랙에 올려주는 것들도 많이 보고 있습니다. 너무 많은 정보가 올라와서 사실 조금 지치기도 하는데요, 그럼에도 불구하고 많은 정보들을 듣고 직접 시도해보는 것이 정말 중요하다고 생각합니다!
Q. (공통질문) 개발자와 비개발자들이 AI시대에 맞춰서 경쟁력을 갖추기 위해 습득해야 할 기술적 역량은 무엇이 있을까요?
A. (우정훈 상무) AI를 고용하는 것과 AI를 만드는 것, 이 두 가지 관점이 있을 것 같아요. AI를 고용하는 사람들은 AI를 통해 무엇을 할 것인지 질문을 던지고, 기획하고, 전략을 짤 수 있어야 합니다. 또한 결국 누군가의 문제를 해결하는 역할이기 때문에 공감력과 감수성이 중요합니다. 반면, AI를 만드는 사람이라면 이전보다 더 많이 공부하고 더 깊게 공부할 수 있어야 합니다. 저희 회사 로봇연구소 소장님에게 로봇의 시대에 필요한 지식을 질문했는데 컴퓨터공학이 60, 기계공학이 30, 전기공학이 10 이라고 말씀하시더라고요. 다시 말하면, 다 알아야 한다는 겁니다. 정말 많은 공부가 필요하죠.
A. (곽근봉 대표) LLM을 활용해 검색엔진을 만드는 것 자체는 기술적으로 굉장히 어렵지는 않습니다. 어려운 것은 의사결정이죠. Cognitive Task Analysis(인지작업분석)라는 학문이 있습니다. 어떤 작업을 했을 때 성과가 나는지를 인지공학 단계에서 분석하는 학문인데, 이런 것들이 오히려 LLM 시대에 효과를 높일 수 있는 좋은 기법이라고 생각합니다. 기술이 점점 쉬워진다는 것은 어떤 문제를 어떻게 풀 것인지에 포커스를 맞춰야한다는 것을 의미합니다.
A. (유경윤 리더) 서비스 개발자의 경쟁력은 서비스를 잘 만드는 데에 있습니다. 서비스를 잘 만든다는 것은 어떤 서비스를 만들어야 하는지 문제를 찾고 그 문제를 잘 해결한다는 것이죠. AI시대에는 문제를 해결하는 도구로 AI를 사용할 수 있는데, 현재 나와있는 AI 기술에 대한 이해가 있어야 '이 문제는 AI로 해결하면 기가 막힐 것 같아'라고 판단할 수 있습니다. 또 그런 판단이 들었을 때 실행해 보는 것이 중요하다고 생각합니다.
두 번째 트렌드클럽 요약본, 어떠셨나요? 스타트업부터 대기업까지, LLM을 활용하고 있는 기업들의 사례와 고민을 청중과 나눠봤습니다. AI 특집 트렌드클럽은 이제 세 번이 남았는데요, 다음에는 9월 26일 진행될 세 번째 트렌드클럽, "생성형 AI를 100% 활용하는 방법, 프롬프트 엔지니어링" 요약본으로 돌아오겠습니다. 그때까지 첫 번째 트렌드클럽, "30년 개발자가 말아주는 빅테크 LLM 전략" 요약본 복습해보시는 건 어떨까요? 다음에 만나요!
