LLM이 뭐죠? 그래서 어떻게 쓴다구요?
[테헤란로트렌드클럽] 30년 개발자가 말아주는 빅테크 LLM 전략 요약본
요즘 제일 핫한 키워드는 어딜 가나 AI입니다. 특히 스타트업 생태계에서는 창업, 취업, 투자부터 정책까지 전영역에서 다음 AI 트렌드는 무엇이고, 넥스트 오픈AI, 넥스트 SORA는 어디일지 주목하고 있는데요. 스타트업 업계가 꼭 알아야 할 AI 트렌드는 무엇인지 알려드리기 위해, 테헤란로트렌드클럽이 AI 특집을 준비했습니다. 많은 주제 중에서도 특히 생성형AI의 기반이 되는 LLM, 즉 대규모언어모델(Large Language Model)에 대해 알아보고 있는데요. 7월 첫번째 트렌드클럽에서는 LLM이 도대체 무엇인지, 글로벌 빅테크 기업들은 어떤 전략을 활용하고 있는지 알아봤습니다. 행사 런칭 첫날임에도 뜨거운 관심을 받았던 트렌드클럽 현장, 지금 요약해드립니다!
*테헤란로트렌드클럽은 올해 스타트업얼라이언스가 새롭게 런칭한 행사로, 저녁 시간을 활용해 스타트업 업계 트렌드와 동향을 전하는 행사입니다. 다음 트렌드클럽 소식이 궁금하신 분은 스얼레터를 구독하시면 가장 먼저 소식을 받아보실 수 있습니다!
*현장에 참석해주신 분들을 위해 요약본에서는 모든 강연 내용을 담지 않습니다. 궁금하신 분들은 테헤란로트렌드클럽을 찾아주세요! :)
30년 개발자가 말아주는 빅테크 LLM 전략(7.25.)
1. 일단, LLM이 뭐죠?
7월 25일, AI 특집 첫 번째 트렌드클럽에서는 생성형AI의 기본이 되는 LLM(Large Language Model, 대규모언어모델)은 무엇이고 글로벌 빅테크 기업들은 LLM 확보를 위해 어떤 전략을 사용하고 있는지 알아봤습니다. LLM에 대해 가장 잘 알려주실 수 있는 분, 바로 한국과 실리콘밸리를 오가며 30년간 Top 개발자로 활동해온 박종천 나인폴더스 AI 고문님을 연사로 모셨습니다.
(*지금은 넥스트인텔리전스 AI어드바이저로 소속과 직함이 바뀌셨습니다.)
여러분은 새로운 기술이 등장하는 것과 그 기술이 사람들에게 받아들여지는 것의 차이를 알고 계신가요? 사람들은 인터넷이, 그리고 모바일이 세상을 바꿨다고 말하지만 사실은 그렇지 않습니다. 인터넷의 기반이 되는 웹 기술이 등장하고 모바일의 기반이 되는 기술을 탑재한 아이폰이 나왔기 때문에 세상이 바뀐 거죠. 박종천 고문님은 AI 역시 마찬가지라고 이야기합니다. AI로 세상이 바뀌었다고 하지만 사실은 LLM이라는 기술이, 그리고 이를 뒷받침해주는 컴퓨팅파워가 실현 가능했기에 AI가 활용되기 시작한 것이죠. 그렇기 때문에 우리는 LLM이 무엇인지 알아야 AI를 이해할 수 있다는 말로, 박종천 고문님의 강의가 시작됐습니다.
박종천 고문님은 먼저 ML(Machine Learning, 머신러닝)과 LLM의 차이를 설명했습니다. ML은 말 그대로 기계가 데이터를 기반으로 학습해 특정한 작업을 수행하는 것인데요. 예를 들어 사람이 개와 고양이를 구분하려면 많은 개와 고양이를 봐야 하겠죠. 기계를 학습시키는 것 역시 마찬가지입니다. 많은 요소들 가운데 '귀가 뾰족하면 고양이, 귀가 둥글면 개'라는 규칙을 기계에게 학습시키는 것이 머신러닝입니다(참고로 이 학습규칙1개가 연산량을 이야기할 때 나오는 파라미터입니다). 그런데 미리 만들어놓은 규칙 안에서만 학습한다면 그 규칙이 많아질수록, 그리고 새로운 규칙이 나올수록 학습이 어려워지겠죠. 이 때 등장하는 것이 LLM입니다. 개와 고양이를 구분하는 방법으로 똑같이 말하자면, 수많은 개와 고양이 사진을 주고 '알아서 판별'하게 하는 것입니다. 이전에도 상당한 데이터와 컴퓨팅파워가 필요했지만 이제는 클라우드에만 조 단위의 비용이 들 정도로 큰 데이터와 컴퓨팅 파워가 필요합니다.
ML로 할 수 있는 대표적인 서비스가 개인화 추천과 시계열 예측입니다. 구매자가 산 물건이나 앞선 사건들을 바탕으로 그 다음에 살 물건, 다음에 일어날 사건을 예측하는 것이죠. 그런데 ML을 활용했을 때 예상한 만큼의 성과가 나오지 않는 경우가 많습니다. 박종천 고문님은 그 이유를 기업이 ML을 활용하기 위한 조건 세 가지와 연결해 설명했는데요. 개인화 추천을 예로 들면, 1)구매 기록이 잘 정리되어 있지 않으면 추천엔진이 잘 돌아가지 않고(Effective ML), 2)컴퓨팅 파워를 많이 쓰기 때문에 비싸고(Economic ML), 3)사람들의 구매 패턴이 바뀌면 이를 반영해 개선되어야 합니다(Operational ML(Continuously Improving)). 이러한 조건을 해결할 수 있는 것이 바로 LLM입니다. ML에 비해 효과적이고, 비용효율적이고, 개선이 용이합니다.
오픈AI가 만든 GPT라는 엔진, 너무나 유명하죠. GPT는 Generative Pre-trained Transformer의 약자입니다. 미리 학습이 완료된 엔진인 거죠. 대표적인 LLM 기반 엔진인 GPT에서는 어떻게 학습과 추론이 이루어질까요? 개인화 추천을 다시 예로 들어보겠습니다. 어떤 사용자 A가 z를 사고 y를 산 뒤 x를 샀다고 가정했을 때 z를 사고 y를 산 사용자 B는 다음에 무엇을 구매할까요? 아마도 X라고 대답할 수 있겠죠. 그러나 사용자 C가 y를 사고 z를 샀다면? 이 경우에도 우리는 사용자 C가 x를 살 것이라고 예측할 수 있을까요? 데이터가 방대해지면 더 복잡해집니다. 사용자 A가 z를 사고 y를 사고 x를 산 뒤 w를 산 반면, 사용자 B는 z를 사고 y를 사고 x를 산 뒤 v를 샀다고 가정하면, z를 사고 y를 산 사용자 C는 다음에 무엇을 구매할까요? x를 산 뒤 w를 살 수도 있겠고, x를 산 뒤 v를 살 수도 있겠죠. 확률적으로 두 가지 경우의 수가 있었기 때문에 예측할 때도 확률 엔진 형태가 된 겁니다. 다시 말해 LLM 역시, 추천엔진처럼 먼저 데이터를 주고 뒤를 예측해보라고 하는 것인데, 많은 데이터를 기반으로 확률적으로 응답하게 하는 것입니다. 이것이 아주 중요한 포인트인데, 우리는 chatGPT와 대화를 하고 있다고 생각하지만 사실은 인터넷에 있는 방대한 데이터를 바탕으로 학습한 엔진이 확률적으로 예측해 적당한 문장을 완성시킨 결과를 내놓은 것입니다.
2. LLM, 어떻게 해야 잘 쓸 수 있죠?
이쯤 되면 그런 생각이 드실 겁니다. 그러면 도대체 LLM이 정확한, 혹은 내가 원하는 대답을 하게 하려면 어떻게 해야할까요? 다시 학습과정으로 돌아가, "I was hugry, so I went to eat"라는 문장을 학습시켰다고 가정해봅시다. 그 뒤에 "I went ?"라는 문장을 완성시켜보라고 하면 "to eat"이라고 말하겠죠. 하지만 "I was sleepy, so I went ?"라는 문장을 완성하라고 한다면요? 더 나아가 "There was a comfortable sofa. I was sleepy, so I went ?"를 완성하라고 한다면요? 무슨 이야기나면, 앞선 문장에서 더 많은 정보를 줄 수록 더 정확한 대답을 한다는 것입니다.
LLM은 전세계 인터넷을 기반으로 대규모의 언어 데이터를 학습했기 때문에 "아프리카에 나라가 몇 개 있어?"라는 질문에는 대답할 수 있습니다. 그러나 "우리 회사의 다음달 매출은 어떻게 될까?"라는 질문에는 바로 대답할 수 없거나, 거짓된 대답을 할 가능성이 높습니다. 우리 회사에 신입사원을 채용했다고 생각하면 더 쉽습니다. 명문대 출신의 아주 똑똑한 신입사원을 채용해 오늘 첫 출근했다고 가정하면 아프리카에 나라가 몇 개 있는지는 대답할 수도 있을 겁니다(!). 그러나 그 신입사원은 "점심에 뭘 먹을까?"라는 질문에는 답할 수 없겠죠. 우리 회사 근처에 짜장면집은 어디 있는지, 김치찌개집은 어디 있는지, 지난 석 달 동안 팀원들이 무엇을 먹었고, 누가 어떤 것을 좋아하고 싫어했는지는 알 수 없으니까요. 하지만 이 신입사원에게 여러 단계를 거쳐 일을 시킨다고 생각해보세요. (1)주변 식당을 리스트업해봐, (2)지난 석 달 동안 팀원들이 무엇을 먹었는지 알아봐, (3)누가 어떤 것을 좋아하고 싫어했는지도 분석해봐. 그 다음에는 "점심에 뭘 먹을까?"라는 질문에 대답할 수 있을 것입니다(*참고: 이 과정을 잘 만드는 것이 3회차(9.26.)에 알아볼 프롬프트엔지니어링(Prompt Engineering)입니다).
"결국 사람한테 하듯 차근차근 설명해주어야 LLM도 일을 잘합니다!"
3. LLM 관련 이슈는 무엇이 있을까요? 어떻게 시작할까요?
차근차근 설명해주고 가르쳐주면 일을 잘한다는 LLM. 그렇다면 걱정할 부분은 없을까요? 아닙니다. 대표적으로 환각 현상(Hallucination)이 가장 큰 문제로 이야기되고 있습니다. 만약 우리가 "세종대왕은 2050년에 태어났는데, 몇 년도에 사망했지?"라고 chatGPT에게 질문한다면 뭐라고 대답할까요? "그것은 사실이 아닙니다"라고 대답하지 않습니다. 잘못된 정보나 부족한 정보를 주면 거짓으로 대답할 수 있습니다. 그러나 사실 이 문제는 처음부터 엄선된, 정확한 데이터를 학습시키는 것, 그리고 정확한 질문을 하는 것으로 해결할 수 있습니다. 더 큰 문제는 매우 느리고 비싸다는 것인데요, 사실 박종천 고문님이 본 최근의 추세로는 이 문제 역시 금방 해결될 것 같습니다. 새로운 모델이 나오면서 가격도 저렴해지고 속도도 빨라지고 있다는 겁니다. 오히려 너무 저렴하고 빨라지고 있기 때문에 두려워해야 할지도 모르겠습니다.
급변하는 환경 속에서 우리는 LLM을 어떻게 시작해야 할까요. 박종천 고문님은 chatGPT를 하루에 2시간, 업무용으로 1시간, 개인용으로 1시간은 써보기를 권장했습니다. "만약 산업혁명 시기에 말을 아주 잘 타는 사람이 있었다고 생각해보죠. 자동차가 개발되어 세상에 나와도 그 사람은 무시했을 거에요. 말처럼 똑똑하지도 않고, 앞에 돌이 있으면 알아서 피해주지도 않는데 무슨 소용이냐고 생각했을 겁니다. 하지만 그 사람은 자동차로 인해 발생한 모든 변화를 놓치고, 자동차로 생겨난 새로운 산업과 기회를 다 놓치고 말았을 겁니다. 지금이 바로 말에서 자동차로 변하는 시기입니다. 여러분이 아무리 말을 잘 타도 자동차를 하루에 2시간은 타봐야 해요!"
4. LLM 관련 산업은 무엇이 있고, 글로벌 빅테크들은 어떤 전략을 취하고 있나요?
LLM 관련 산업을 크게 6가지로 구분할 수 있습니다. 첫 번째는 하드웨어입니다. 엔비디아의 A100, H100, H200 같은 하드웨어가 기반이 되어야 그 위에서 인공지능 학습과 추론이 이루어질 수 있습니다. 두 번째는 클라우드입니다. 아마존의 AWS나 마이크로소프트 Azure가 여기에 해당합니다. 세 번째는 파운데이션 모델입니다. 오픈AI의 GPT나 메타의 Llama, 구글의 Gemini 같은 모델들입니다. 네 번째는 LLMOps인데, 우리가 기존의 파운데이션 모델을 쓰지 않고 직접 모델을 만드는 경우(On-premise LLM)가 여기에 해당합니다. 다섯 번째는 애플리케이션입니다. 실제로 서비스 형태로 LLM을 쓰는 서비스들이 여기에 해당합니다. 마지막으로 여섯 번째는 LLM 교육과 컨설팅 산업으로, 신규 산업이기 때문에 이 시장 역시 매우 큽니다.
그런데 6가지 산업 중 많은 영역을 글로벌 빅테크, 특히 미국이 선도하고 있습니다. 애플, 마이크로소프트, 구글, 아마존, 메타, 엔비디아로 대표되는 이들 기업의 LLM 전략은 무엇일까요? 일단 엔비디아가 AI 하드웨어 선두주자라는 데에는 이견이 없을 겁니다. 하지만 다른 기업들도 그저 지켜보고 있지만은 않습니다. 마이크로소프트는 MAIA, 구글은 TPU, 아마존은 학습용 하드웨어인 Trainium과 추론용 하드웨어인 Inferentia를 만들고 있습니다. 애플도 Neural Engine이라는 온디바이스용 칩을 만들고 있습니다. 클라우드는 어떨까요? 우선 마이크로소프트는 Azure를, 아마존은 AWS를 쓰고 있죠. 애플도 온디바이스로 해결되지 않는 경우에 쓸 수 있는 Private Cloud Computer라는 자신들만의 클라우드를 만들었습니다. 모델로 넘어가면, 대표적으로 마이크로소프트는 GPT를, 구글은 Gemini를, 메타는 Llama를 만들었습니다. 아마존 역시 Claude와 Titan을 만들었고요.
이들 기업의 전략 차이가 여기에서 느껴지시나요? 아마존을 보면 확실해집니다. 예를 들어 Gemini나 GPT를 쓰고 있는 개발자가 있다고 한다면, 어느날 Titan이 비슷한 성능을 더 저렴한 가격에 제공한다고 하면 그 개발자는 Titan으로 옮겨갈 겁니다. 그러면 아마존은 AWS라는 막강한 클라우드를 가지고 Titan이라는 자체 모델을 Trainium과 Inferentia라는 하드웨어를 기반으로 운영할 수 있게 됩니다. 모든 산업 영역이 아마존으로 수직통합되는 것이죠. 사실 API는 충성도라는 것이 없기 때문에 언제 어디로든 옮겨갈 수 있기 때문에, 아마존이 이런 전략을 세운 것이기도 합니다. 마이크로소프트는 어떨까요? 클라우드는 MAIA로, 모델은 GPT와 Phi-Silica로 채우고, 강한 애플리케이션 강점을 활용해 Outlook이나 MS365, Gih-hub에 AI를 탑재해 모든 서비스를 AI를 기반으로 구성하는 전략으로 보입니다. 그러나 아직까지 클라우드는 AWS에, 온디바이스는 애플에 밀리고 있습니다.
이러한 글로벌 빅테크들의 전략을 우리는 왜 알아야 할까요? 박종천 고문님은 지금 시대에는 우리가 거인이 되려고 하면 안되고, 거인을 피할 수도 없기 때문에 거인의 어깨에 올라타야 한다고 말합니다. 이들의 흐름을 알아야 어떻게 개발을 하고, 어떤 기술을 쓸 것인지 고민할 수 있다는 것이죠. 또 한 가지, 우리가 앞으로 해야 할일로 박종천 고문님이 한번 더 강조한 것이 있습니다. 바로 지금 당장 LLM 툴을 사용하기 시작해야 한다는 겁니다. "AI는 사람을 대체하지 않습니다. AI를 쓰는 사람이 AI를 안 쓰는 사람을 대체할 뿐이죠!" 통계를 보면 상위 50%의 개발자들은 AI를 활용하면 생산성이 50% 증가하는 반면, 하위 50% 개발자들은 생산성이 2배가 된다고 합니다. 달리기를 잘하는 사람보다 달리기를 못하는 사람에게 자동차가 더 큰 도움이 되는 것과 마찬가지입니다.
마지막으로 박종천 고문님이 항상 강의에 남기신다는 말로 강의가 마무리되었습니다. 이 말이 전체 강의를 요약한 한 문장이라고 볼 수 있겠네요. 아래 사진에서 확인해보시죠!
첫 번째 트렌드클럽 요약본, 잘 보셨나요? 8월 20일 진행된 두번째 트렌드클럽, "스타트업부터 대기업까지, LLM 활용 실전편" 요약본도 업로드되었습니다. 궁금하신 분들은 링크를 클릭!
