'early AGI'와 '소형 언어 모델의 본격 경쟁'
안녕하세요, 뤼튼테크놀로지스에서 ML Lead를 맡고 있는 케빈입니다.
3월만큼은 아니지만, 4월 역시 많은 생성 AI 소식이 있었던 한 달이었습니다. 특히 이번 달에 등장한 기술들은 크게 두 가지, ‘생각하고 사고하는 GPT(Generative Pre-trained Transformer)’와 ‘소형 언어 모델의 본격적인 경쟁’이 주요 테마라고 생각합니다. 어떤 인사이트가 있는지 전해드리면서 자세히 알아보도록 하겠습니다.
생각하고 사고하는 GPT
인공지능 연구자한테는 금기의 단어라고 할 수도 있는 단어가 있는데요. 바로 ‘AGI(Artificial General Intelligence, 인간이 할 수 있는 어떠한 지적인 업무도 성공적으로 해낼 수 있는 인공지능)’입니다. 하지만 4월 초부터 생성 AI 업계에서 이를 슬금슬금 언급하고 있습니다. 전문가들은 이처럼 GPT가 직접 검색이나 행동을 하거나 계획을 세우는 등 GPT를 더 과감하게 활용하려는 움직임을 ‘early AGI 스테이지’라고 부르고 있습니다.
메타가 공개한 ‘툴포머(Toolformer)’를 활용한 논문에서 이에 대한 컨셉이 조금 더 구체화했으며, 또한 ‘챗GPT 플러그인(ChatGPT Plugin)’과 ‘랭체인(LangChain), ‘라마인덱스(Llamaindex)’ 등 여러 언어 모델의 유즈 케이스(Use Case; 사용 사례)가 ‘생각하고 사고하는 GPT’에 대한 시도를 더 확장했습니다.
4월에 나온 사용 사례 중 제가 가장 인상 깊었던 두 가지인 ‘허깅GPT(HuggingGPT)’와 ‘오토 GPT(Auto GPT)’를 소개해 보겠습니다.
Hugging Face 모델을 사용하는 GPT, HuggingGPT
HuggingGPT는 사용자의 요청을 수행하기 위해 ‘허깅페이스(Hugging Face, 인공지능 애플리케이션 개발 업체)’에 올라온 모델을 활용하는 방식으로 접근한 연구입니다.
HuggingGPT는 사용자의 요청에 대해 다음과 같은 방식으로 문제를 해결합니다.
1. Task Planning
GPT를 활용하여 사용자의 의도를 파악하고 풀기 위해 어떤 Task로 풀어야 하는지, 어떤 입력을 넣어야 하는지 분석합니다.
2. Model Selection
계획한 Task를 풀기 위해 Hugging Face에 올라온 모델 중 어느 걸 선택해야 하는지 결정합니다.
3. Task Execution
선택한 모델에 대해 결정된 입력을 넣고, GPT에게 결과를 리턴합니다.
4. Response Generation
모델의 예측 결과들을 토대로, 사용자의 요청에 따른 응답을 생성합니다.
Hugging Face에는 수많은 Task가 정의되어 있고, 그만큼 많은 모델이 올라와 있기 때문에 이를 100% 이용할 수 있는 것이 큰 강점입니다. 또한, 어느 모델을 사용했는지 추적할 수 있고, 응답 생성에 있어서 이를 설명하는 방향으로 제시하기 때문에 ‘왜 이런 결과물을 받았는지’에 관해 설명이 가능한 것도 특징입니다.
Auto GPT
Auto GPT의 Github Star 히스토리 (4월 27일 기준)아마 ‘Auto GPT’는 이번 달에 가장 뜨거웠던 오픈소스 프로젝트였을 것 같은데요. 단기간에 딥러닝 프레임워크 PyTorch의 Github Star(좋아요) 수를 제치더니 현재는 전체 Github 레포지토리의 Star 랭킹에서 30위 권을 차지했습니다.
Auto GPT는 사용자가 목표(Goal)를 설정하면, 해당 목표를 달성하기 위해서 스스로 사고하고 실행해 결과물을 생성하는 오픈소스 프로젝트입니다. 사람의 개입 없이도 스스로 문제를 풀 수 있는 것이 가장 큰 핵심입니다. ** 완벽히 사람의 개입이 없기 위해서는 continuous 모드로 실행해야 합니다.**
실제로 제가 Auto GPT로 실험을 해본 결과를 예시로 들어보겠습니다. ‘곽튜브 유튜브 구독자 수를 알려줘’라는 목표를 제시하면, Auto GPT는 스스로 구글에 ‘곽튜브’를 검색합니다. 그리고 구글 상위에 있는 ‘곽튜브 유튜브 채널’에 접속하여 웹사이트 내에서 “구독자 수가 몇인가요?”라는 질문을 던집니다. Auto GPT는 이에 대한 답변을 생성하고 저에게 ‘147 million(147만 명)’이라는 답변을 보여주고 시스템을 종료하였습니다.
스스로 사고하고 실행하는 과정을 보면서 ‘벌써 여기까지 온 것인가’하는 신기함을 느꼈습니다. 그렇지만 아직 목표에 도달하기까지 너무 오랜 시간이 걸리고, 목표를 완벽하게 수행하지 못하는 점은 아쉬웠습니다.
대신 Auto GPT로 실험하면서 놀랐던 점은 제대로 문제를 못 풀고 있을 때의 과정이었습니다. 오랜 시간 동안 목표에 도달하지 못한다고 느꼈는지 다음 행동으로 ‘do nothing(아무 일도 안 하는)’을 실행하고, 다시 처음부터 돌아가 해당 목표를 수행하기 위한 계획을 다시 세우는 패턴을 보였습니다. 과정에서 잘못된 점을 고치는 것이 아니라 다시 처음부터 생각하는 모습이 마치 예전 제 모습을 보는 것 같아 조금 답답하기도 했지만, 잘못된 상황을 인지하고 고치려는 모습이 인상 깊었습니다.
이전에도 생각하는 과정을 도입하거나 외부 API 등을 실행하는 프로젝트가 있었는데도 불구하고, Auto GPT가 가장 큰 관심을 끌게 된 이유는 무엇일까요? 제 견해로는 이름 그대로 ‘완벽히 자동으로 실행할 수 있는 모드’를 처음 제시한 것이 가장 큰 것 같습니다. 또한 ‘다른 프로젝트보다 사용하기 쉽다’라는 특징도 관심을 끈 이유입니다.
다른 프로젝트는 Auto GPT처럼 작동하기 위해서 약간의 기본적인 프로그래밍 지식이 요구되기도 하고, 직접 코딩을 해야하는 경우도 있는데요. 그럴 필요 없이 ChatGPT에서 채팅하듯이 텍스트로 Auto GPT에게 역할과 목표만 제시하면 해당 목표를 수행하는 에이전트는 만들 수 있을 정도로 쉽습니다. 앞으로 이를 고도화한 사용 사례가 생기면 또다시 생성 AI 업계에 큰 파장이 올 것으로 예상됩니다.
‘소형 언어 모델’의 본격적인 경쟁
메타가 출시한 ‘라마(Large Language Model Meta AI, LLaMA)’와 스탠퍼드가 공개한 ‘알파카(Alpaca)’ 이후 ‘소형 언어 모델(Small Large Language Model, SLLM)도 충분히 좋은 성능을 보일 수 있다’는 가능성이 알려졌습니다. 덕분에 4월에는 이를 더 본격적으로 연구한 각종 소식이 생성 AI 업계를 뒤흔들었습니다. 일반적인 언어 모델부터 명령어 기반으로 학습한 언어 모델, 그리고 본격적으로 상업화를 목표로 한 언어 모델도 있었습니다. 그중 눈길 끄는 언어 모델들을 정리해 봤습니다.
상업적 사용이 가능한 오픈소스 언어 모델 ‘Dolly 2.0’
데이터 레이크하우스 기업 ‘데이터브릭스(Databricks)’에서 상업적 사용이 가능한 오픈소스 언어 모델 ‘Dolly 2.0’을 공개했습니다. 1.0이 Alpaca의 데이터셋을 활용하여 ‘이전 오픈소스 모델(GPT-J 6B)도 파인 튜닝으로 ChatGPT와 같은 모델로 만들 수 있다’는 것을 보여줬다면, 이번 업데이트에서는 데이터브릭스에서 자체 구축한 데이터셋을 학습하여 상업 목적으로도 사용 가능할 수 있습니다. 명령어-응답 데이터셋인 ‘databricks-dolly-15k’는 내부 직원들의 크라우드 소싱을 기반으로 구축되었으며, 오픈소스 모델 ‘파이티아(Pythia)’를 파인 튜닝하여 만들어졌습니다.
StabilityAI 오픈소스 언어 모델, ‘Stable LM’
AI 이미지 생성기 '스테이블 디퓨전' 개발 업체로 유명한 스태빌리티AI(StabilityAI)가 알파 버전으로 3B(30억 개), 7B(70억 개) 파라미터 규모의 오픈소스 언어 모델 ‘Stable LM’을 공개했습니다. 현재 15B(150억 개), 30B(300억 개) 모델도 학습 중인 것으로 알려졌습니다. 스태빌리티AI 따르면, 최종적으로는 1.5T(1.5조) 토큰 양만큼 학습한 버전을 제공할 것입니다. 현재 이 언어 모델은 상업적 사용이 가능합니다. 회사의 유명세만큼이나 공개 이후 많은 관심을 받았지만, 비슷한 파라미터의 모델보다 성능이 좋지 못해 좋은 반응을 얻지 못하고 있습니다.
많은 모델이 쏟아지고 있는 지금, 새로운 모델이 나왔을 때 무조건 사용하기보다 일단 검증하는 것이 가장 중요합니다!
한국어 모델도 있어요! ‘Polyglot’
오픈소스 언어 모델 ‘일루서AI(EleutherAI)’에서 진행 중인 프로젝트 ‘Polylgot’ 팀에서 12.8B(128억 개) 파라미터의 한국어 언어 모델을 공개했습니다. 12.8B 규모의 언어 모델은 한국어 오픈소스 중 가장 큰 규모입니다. 현재는 ‘Polyglot-v2’ 모델 학습 준비를 하고 있으며, 기존 모델에 학습된 데이터셋보다 훨씬 많은 데이터셋을 활용할 예정으로 보입니다. 또한 Polyglot 모델을 한국어 알파카 데이터셋(KoAlpaca v1.1 데이터셋)으로 파인 튜닝한 ‘ChatKoAlpaca’가 있는데요. 해당 링크를 통해 Polyglot 모델과 KoAlpaca 데이터셋의 좋은 시너지를 체험해 볼 수 있습니다.
Conclusion
GPT가 할 수 있는 능력이 점점 밝혀짐에 따라 다양한 사용 사례가 생겨나고 있습니다. 뤼튼테크놀로지스에서도 생성 AI의 가치를 사용자에게 잘 전달할 수 있도록 많이 고민하고 실험하고 있습니다. 이 자리를 빌려 오픈소스로 언어 모델을 공개하고 체험해 볼 수 있는 생태계를 구축하고 계신 모든 연구자분께 감사함을 전하고 싶습니다!
그러면 5월에도 더 좋은 인사이트를 가지고 찾아뵙겠습니다. 긴 글 읽어주셔서 감사합니다.
