SKT의 완전한 소버린 AI 모델 개발
# AI 산업혁명
SKT의 완전한 소버린 AI 모델 개발
A.X 3.1 버전의 혁신과 도전
글로벌연합대학교 인공지능융합연구소장
버지니아대학교 이현우 교수
최근 SK텔레콤(SKT)은 자사의 최신 AI 모델인 A.X 3.1 버전을 발표하며, 완전한 소버린 AI 모델 개발에 대한 야심찬 계획을 공개했다. 이번 모델은 4.0 버전과는 달리 SKT 내부에서 모든 과정을 해결한 "완벽한 소버린 AI"로, 데이터 수집부터 모델 훈련, 컴퓨팅 인프라까지 모든 단계를 자체적으로 수행했다. 이 글에서는 A.X 3.1 버전의 개발 과정, 특징, 성능, 그리고 향후 계획에 대해 자세히 살펴보겠다.
1. A.X 3.1 버전의 개발 과정
A.X 3.1 버전의 개발은 SKT의 내부 리소스를 최대한 활용하여 이루어졌다. SKT는 20조 토큰 분량의 데이터셋을 내부 파이프라인으로 수집하고, 이를 정제 및 가공하여 1조6500억 토큰 규모의 학습 데이터셋을 구축했다. 이 과정에서 SKT는 외부 모델 구조를 가져오는 대신, 아키텍처를 처음부터 자체적으로 설계했다. 이를 통해 SKT는 데이터 수집, 정제, 가공, 모델 설계, 훈련, 그리고 컴퓨팅 인프라까지 모든 단계를 내부에서 해결할 수 있었다.
모델 훈련은 SKT가 보유한 '타이탄' 슈퍼컴퓨터를 활용하여 진행되었다. 이 슈퍼컴퓨터는 SKT의 AI 연구개발을 지원하는 중요한 자원으로, A.X 3.1 버전의 훈련에 큰 역할을 했다. SKT는 이처럼 모델 구축의 전 과정을 자체 리소스로 해결한 것을 "완전한 소버린 AI"라고 강조했다.
2. A.X 3.1 버전의 특징
A.X 3.1 버전은 두 가지 주요 버전으로 나뉘어 있다. 첫 번째는 340억개(34B) 매개변수를 갖춘 표준 버전이며, 두 번째는 70억개(7B) 매개변수의 라이트 버전이다. 라이트 버전의 가장 큰 특징은 1조6500억 토큰이라는 비교적 적은 학습량만으로도 일정 수준의 성능을 내는 데 성공했다는 점이다. 이는 동급 성능의 모델들보다 5~6배 낮은 연산량으로 학습했다는 것을 의미한다.
또한, A.X 3.1 버전은 같은 한국어 텍스트를 입력해도 오픈AI의 'GPT-4o'보다 약 67%에 불과한 토큰을 사용하며, 경량 모델로서 최대 3만2768토큰의 컨텍스트 창을 갖춘 것을 장점으로 들었다. 이러한 저용량 특성은 기업의 온프레미스 모델 구축에도 활용될 수 있다.
3. A.X 3.1 버전의 성능
A.X 3.1 버전은 성능 면에서 글로벌 수준에는 미치지 않지만, 최근 출시된 카카오의 '카나나-1.5-8B'와 알리바바의 '큐원 3-8B'와 비교했을 때 경쟁력을 보였다. 특히, 수학 능력인 'MATH'에서는 불과 1.34점 차로 따라붙었으며, 지난해 출시된 '엑사원 3.5'나 '큐원 2.5'보다는 성능이 뛰어났다.
그러나 A.X 3.1 버전은 한국어 능력을 제외한 대부분 항목에서 글로벌 수준인 큐원 3에 비해 성능이 떨어졌다. 이는 SKT가 '자체 개발'과 '효율성'에 집중하다 보니 발생한 결과로, 향후 성능 개선이 필요한 부분이다.
4. 향후 계획
SKT는 A.X 3.1 버전과 최적화된 성능과 효율을 강조한 A.X 4 계열 모델을 활용하는 '투트랙 전략'을 전개할 계획이다. 이를 통해 SKT는 다양한 AI 활용 사례에 대응할 수 있는 유연한 모델을 제공할 수 있을 것으로 기대된다. 또한, 기존 모델의 성능을 높일 수 있도록 GPU 자원을 확보하고 개발 역량을 높여 나가겠다고 덧붙였다.
SKT는 이번 A.X 3.1 버전의 개발을 바탕으로 정부가 추진하는 ‘독자 AI 파운데이션 모델 개발사업(K-AI사업)’에 지원할 예정이다. 이를 통해 SKT는 한국형 LLM 개발 역량을 더욱 강화하고, 국가 AI 경쟁력 제고에 기여할 수 있을 것으로 보인다.
결론
SKT의 A.X 3.1 버전은 완전한 소버린 AI 모델 개발을 위한 중요한 이정표가 될 것으로 기대된다. 데이터 수집부터 모델 훈련, 컴퓨팅 인프라까지 모든 단계를 내부에서 해결한 이번 모델은 SKT의 AI 연구개발 역량을 한층 더 강화하는 계기가 될 것이다. 향후 SKT가 A.X 3.1 버전의 성능을 개선하고, 다양한 AI 활용 사례에 대응할 수 있는 유연한 모델을 제공할 수 있을지 주목된다.
