1. 딥시크 AI의 경제적인 개발 비용
- 딥시크(DeepSeek)는 중국의 AI 스타트업으로, 챗GPT에 버금가는 성능을 지녔지만 개발 비용은 훨씬 저렴한 '고효율' AI를 선보였다.
- 이렇게 개발 비용을 낮출 수 있었던 주된 요인은 학습 과정에서의 비용 절감이다.
- 과학기술계에서는 딥시크가 공개한 오픈소스를 토대로 실제 기술력을 검증하고 있으며, 신중한 접근을 권고하고 있다.
- 2025년 1월 31일에 공개된 이 정보는 AI 기술 발전과 관련된 중요한 쟁점을 다루고 있다.
2. MoE 아키텍처의 핵심 역할
- 딥시크가 최근 공개한 AI 모델 'R1'의 경제적인 개발 비용은 'MoE(Mixture-of-Experts)' 아키텍처 덕분일 것으로 추정된다.
- MoE는 여러 전문가가 각자의 분야에서 작업을 수행하는 방식을 본뜬 것으로, 특정 작업에 특화된 여러 LLM(거대언어모델)을 통합한 후 필요한 LLM만 선별적으로 가동하는 기술이다.
- 이 아키텍처는 메모리 사용을 줄이고 작업 속도를 높이는 데 일조한다.
3. MoE의 작동 방식
- MoE는 '전문가 혼합'이란 의미로, 여러 전문가가 협업하여 과제를 해결하는 방식을 모방했다.
- 이 기술은 작업 유형에 따라 필요한 LLM만 활성화하여, 모든 매개변수를 동시에 사용하지 않도록 설계되었다.
- 딥시크-R1의 경우, 총 6710억 개의 파라미터 중 340억 개만 선택적으로 활성화되어, 기존 방식보다 메모리 사용량이 현저히 낮고 처리 속도도 빠르다.
4. 딥시크 R1의 성능과 효율성
- 딥시크-R1은 총 6710억 개의 파라미터를 보유하지만, 실제 작업 시에는 340억 개만 활성화된다.
- 이런 설계로 메모리 사용량을 90%까지 절감할 수 있다.
- 안성수 KAIST AI 대학원 교수는 MoE의 장점으로 작업별로 특화된 소규모 '전용 LLM'만 활성화하여 AI 학습 비용을 줄일 수 있다고 설명했다.
5. 강화 학습의 중요성
- 딥시크는 '지도 학습(Supervised Fine-Tuning)'을 최소화하고 '강화 학습(Reinforcement Learning)'에 주력하여 성능을 개선했다는 분석이 있다.
- 지도 학습은 AI 모델이 특정 작업을 수행할 수 있도록 추가 학습시키는 기술이며, 강화 학습은 AI가 스스로 해답을 찾아낼 수 있도록 추론 능력을 키우는 기술이다.
- 강화 학습에 집중한다는 것은 학습량을 줄이면서도 추론을 통해 정답을 도출할 수 있는 AI를 개발한다는 의미이다.
6. 정확도 보상 시스템
- 딥시크는 AI가 추론을 통해 정답을 찾았을 때 가점을 주는 '정확도 보상(Accuracy Rewards)' 시스템을 도입하여 성능을 향상시킨 것으로 알려졌다.
- 이 시스템은 AI의 추론 능력을 높이고, 학습에 소요되는 비용을 최소화하는 데 기여한다.
- 정송 KAIST AI대학원장은 AI의 학습 과정을 추론 과정으로 대체했다 하더라도, 그 과정에서의 개발 비용이 만만치 않을 것이라고 지적했다.
7. 오픈AI와의 법적 분쟁
- 오픈AI는 자사의 AI 학습 데이터를 딥시크가 불법으로 활용했다고 주장하고 있다.
- 이경하 KISTI 초거대AI연구단장은 딥시크가 R1의 소스코드와 기술 보고서를 모두 공개한 만큼, 딥시크가 제시한 사양으로 성능을 재현할 수 있는지에 대한 검증이 진행 중이라고 언급했다.
- 이러한 법적 분쟁은 AI 기술 발전과 관련된 윤리적 문제를 제기하고 있다.
8. 딥시크의 기술 검증 과정
- 딥시크는 AI 오픈소스 플랫폼 '허깅페이스'에서 R1 개발 코드의 다운로드 횟수가 49만 회에 달한다고 보고했다.
- 이 단장은 딥시크가 정말로 AI 분야의 '돌파구'가 될지는 검증이 완료된 후에야 확실히 말할 수 있을 것이라고 덧붙였다.
- 이러한 검증 과정은 AI 기술의 신뢰성과 효율성을 평가하는 데 핵심적인 역할을 한다.