AI산업의 뿌리, 파운데이션 모델
때아닌 AI 후진국 논란
얼마 전 국내 AI업계를 떠들썩하게 만든 해프닝이 있었다. 미국 스탠퍼드대 인간중심인공지능연구소(HAI)가 15일 발간한 ‘AI 인덱스 2024’ 보고서’에 AI 기술의 기반이 되는 ‘파운데이션 모델’을 개발한 한국 기업이 한 곳도 없다는 조사 결과가 담겼다. 이에 언론에서는 AI산업 경쟁력과 기술 종속을 우려하는 보도를 쏟아냈다. 우리나라의 파운데이션 모델에 대한 조사 결과가 누락되었기 때문에 발생한 이 해프닝은 이목이 집중된 국내 AI업계와 과학기술정보통신부가 적극적으로 해명하고 해당 연구소에 수정요청을 함으로써 일단락되었다.
파운데이션 모델은 무엇이길래 존재 유무가 국가의 AI경쟁력을 판단하는 척도가 될 수 있을까? 그리고 정말 국내엔 파운데이션 모델이 존재하지 않을까?
파운데이션 모델이 뭐길래?
파운데이션 모델이란 다양한 분야의 서비스에 적용할 수 있도록 개발되고 학습된 다목적 모델을 일컫는다. 그 이름처럼 AI서비스의 기반(Foundation)역할을 한다. 엔디비아에 따르면, ‘산더미 같은 원시 데이터에서 비지도 학습을 통해 훈련된 AI 신경망’이 파운데이션 모델의 정의이며, 광범위한 이용가능성이 특징이다.
인공지능 발전도 (출처 : On the Opportunities & Risks of Foundation Models. 2021, 한국지능정보사회진흥원)어디에든 적용될 수 있다는 파운데이션 모델의 특징은 AI의 발전 방향과 맥이 닿아 있다. 스탠포드대 인간 중심 인공지능 연구소의 연구자들은, 파운데이션 모델에 관한 논문에서 AI는 30년동안 emergence(창발성)과 homogenization(균질화)을 발달시키는 방향으로 발전해 왔다고 이야기한다.
-창발성 : 명시적이지 않은 새로운 결과를 제시하는 창발적인(emergent) 특성, 인공지능을 학습시키는 데에 사람이 지시하지 않아도 되는 것을 의미한다. 창발성이 늘어난다는 것은 학습 과정에서 사람의 개입해야 하는 부분이 줄어드는 것이다.
-균질화 : 같은 모델이 다양한 애플리케이션에 적용, 하나의 모델로 다양한 분야의 문제를 푸는 범용성과 유사한 맥락에서 이해할 수 있다. 후에 구체적으로 언급하겠지만, 일례로 AI분야의 선두인 Chat GPT는 질문의 범위와 영역을 망라한 답을 제공한다.
즉 파운데이션 모델의 정의를 요약하자면 방대한 양의 데이터를 훈련시켜 스스로 학습이 가능하고 다양한 분야에 적용될 수 있도록 한 초거대 AI 신경망이다.
파운데이션 모델은 여타 인공신경망과 같이 데이터의 학습이 필요한데, 그 데이터의 양이 상상을 초월한다. 균질화를 위해선 분야를 가리지 않는 대량의 데이터 학습이 필요하기 때문이다. 파운데이션 모델 중 하나인 Open AI의 GPT 같은 경우 초기 단계부터 100만개가 넘는 웹사이트를 학습 데이터셋으로 사용했다. 방대한 데이터를 학습시키기 위해 GPU, 클라우드와 같이 데이터 연산 및 저장을 위한 전산자원이 요구되며 전력사용량 또한 만만치 않다.
이에 더해 모델을 설계하고, 모델의 성능을 좌우하는 파라미터, 미세 조정 변수들을 설정하기 위해선 딥러닝 분야에서의 지속적인 연구와 기술력이 필요하다.
때문에 파운데이션 모델의 존재는 해당 국가가 AI분야에서 독자적인 자원과 기술력을 어느 정도로 가지고 있는지를 보여주는 척도 역할을 할 수 있는 것이다.
그래서 그걸 어디에 쓰는데?
미국의 벤처캐피탈 Madrona는 생성형 인공지능 관련 tech stack을 맥킨지가 정의한 6가지에서 Infrastructure, Foundation Model, Application의 크게 3가지로 나누었다.
맥킨지의 생성형 인공지능 가치 사슬 구성요소 6가지(출처 : 출처: McKinsey)
infrastructure : 파운데이션 모델을 학습시키기 위한 유무형의 자원
foundation model : infrastructure를 이용하여 학습한 거대 인공신경망 모델
application : 파운데이션 모델을 파인튜닝 및 활용하여 특정 용도에 맞게 가공한 서비스
이 분류에서 볼 수 있듯, 생성형 인공지능에서 파운데이션 모델은 핵심적 역할을 한다. 데이터를 기반으로 특정 입력에 대해 추론을 거쳐 알맞은 결론을 내는 근본적인 모델을 특정한 용도에 맞게 가공(미세조정)하여 만들어진 것이다.
즉 근래 인기를 끌고 있는 ChatGPT, DallE 등 생성형 인공지능 서비스들은 모두 파운데이션 모델이 없으면 존재할 수 없다.
현실에서의 예를 들어 설명해 보면, GPT4가 출시되었다는 이야기는 몰라도 Chat GPT4가 출시되었다는 이야기는 들어본 적이 없을 것이다. 여기서 ChatGPT는 GPT라는 파운데이션 모델을 기반으로 동작하는 인공지능 생성형 챗봇 서비스이다. GPT4의 출시는 그 파운데이션 모델이 업그레이드 되어 ChatGPT가 더 양질의 서비스를 제공할 수 있게 되었다는 것을 의미한다.
말하자면 파운데이션 모델 개발능력은 현재 생성형 인공지능 시장의 핵심적 역량이다. 파운데이션 모델이 AI서비스에 사용되는 양상에서도 그 중요성을 짚어낼 수 있다.
국내개발 파운데이션 모델에 주목하는 이유는 학습되는 테이터의 언어에 의해 해당 국가에서의 성능이 다르기 때문이다. 일례로, 한국어나 일본어와 같이 전후 맥락에 의해 의미를 파악해야 하는 고맥락 언어의 경우 영어데이터 위주로 학습한 인공지능 서비스에서 상대적으로 떨어지는 결과를 자주 볼 수 있다.
또한 파운데이션 모델을 기반으로 서비스 개발이 이루어지는 특성상, 다루어지는 주제에 따라 데이터 유출 등 보안 문제가 발생할 위험이 존재한다. AI개발 국가 간 기술경쟁이 치열해지고, 국가 내에서 개발되는 자체 인프라, 데이터, 인력 및 비즈니스 네트워크를 사용하여 개발하는 소버린 AI가 대두되는 상황에서 파운데이션 모델의 존재는 국가 안보와도 직결된다고 할 수 있다.
우리나라의 파운데이션 모델
보고서에 언급된 바와 달리, 우리나라에도 파운데이션 모델이 물론 존재한다. 몇 가지를 살펴보면 다음과 같다.
1. 네이버의 하이퍼클로바 X
하이퍼클로바 X는 네이버가 1조원 가량을 투자해 23년 8월 공개한 초거대 파운데이션 모델로, 3000억~4000억개로 추정되는 파라미터를 통해 학습하며 한국어에 특화된 것이 특징이다. 한국어 데이터를 주로 학습하여 한국인의 사용상황에 알맞은 피드백을 제공할 수 있다. 네이버는 하이퍼클로바 X를 기반으로 하여 인공지능 챗봇 ‘클로바X’, 인공지능 검색 ‘큐(CUE) 서비스를 운영하고 있다.
2. KT의 믿음
믿음은 KT가 23년 10월 공개한 B2B대상 파운데이션 모델이다. 조 단위의 파라미터를 통해 학습이 이루어졌으며, 경량 모델부터 초거대 모델까지 총 4가지의 모델이 존재한다. 사용자에 직접적으로 AI서비스를 제공하는 네이버와는 달리, 기업에 제공하여 용도에 맞게 파인튜닝함으로써 기업의 AI서비스 제작에 사용된다.
정리하며
생성형 AI서비스의 모태가 되는 파운데이션 모델의 가치는 시간이 갈수록 중요해지고 있다. 투입되는 자본과 자원, 기술의 양이 막대하므로 AI 경쟁력을 위해선 전방위인 투자가 필요하다. AI가 상용화됨에 따라 독자적 파운데이션 모델 보유는 경제적 및 국가안보와 관련해서 핵심적인 논제가 되었다. 해프닝으로 끝난 일이었지만 이번 기회로 파운데이션 모델에 대한 관심과 투자가 높아지길 기대한다.
참고자료 출처
https://www.aitimes.com/news/articleView.html?idxno=153091
https://www.caiid.org/ko/news/news/view/1124
https://www.apple-economy.com/news/articleView.html?idxno=71203
https://igm.or.kr/insight/311?page=1
https://moon-walker.medium.com/generative-ai%EC%9D%98-tech-stack-6e8684f511a0 https://www.cctvnews.co.kr/news/articleView.html?idxno=232234
작성자: ITS 26기 이태윤
