독자 AI 파운데이션 모델 개발
최근 한국에서 파운데이션 모델 개발을 둘러싼 국가 과제에 대한 관심이 부쩍 높아졌다. 특히 ‘완전 자체 개발’이라는 표현이 자주 등장하면서, 과연 어디까지를 자체 기술로 볼 수 있는지에 대한 혼란도 함께 커지고 있다. AI 모델 개발 경험이 없는 사람에게는 물론이고, 현업에 있는 사람에게도 이 경계는 생각보다 모호하다. 그래서 이번 글에서는 AI 파운데이션 모델 개발을 실제 연구·개발 관점에서 나눠서 정리해 보려고 한다. 기술적으로 무엇이 가능하고, 무엇이 어려운지, 그리고 각 방식이 어떤 의미를 갖는지를 중심으로 이야기해본다.
먼저 가장 이상적으로 들리는 개념부터 짚어보자. 흔히 말하는 ‘완전 자체 개발’이다. 이 표현은 말 그대로 모든 것을 새로 만든다는 인상을 준다. 하지만 현실적으로 보면, 이는 거의 불가능에 가깝다. 우리가 새로운 개념의 자동차를 만든다고 해서 바퀴나 엔진 없이 자동차를 설계할 수 없는 것과 마찬가지다. 오늘날의 파운데이션 모델 역시 기본적인 트랜스포머 구조, 어텐션 메커니즘, 대규모 사전학습이라는 틀에서 벗어나기 어렵다. LLM이든 VLM이든, 핵심적인 모델 구조와 학습 패러다임은 이미 검증된 방식 위에 서 있다.
그럼에도 불구하고 ‘완전 자체 개발’이라는 표현이 완전히 불가능한 것은 아니다. 기존의 틀을 기반으로 하되, 모델 구조나 학습 방법에서 게임 체인저가 될 만한 아이디어를 제시하고, 그 결과로 명확한 성능 향상이나 새로운 SoTA를 달성한다면 충분히 이 범주에 들어갈 수 있다. 이 경우 핵심은 구조의 독창성이나 학습 전략의 혁신에 있다. 다만 이 영역은 극히 소수의 연구 조직만이 도전할 수 있는 영역이며, 막대한 리소스와 장기간의 연구가 전제된다.
두 번째는 현실적으로 국가 과제에서 가장 많이 언급되는 ‘from scratch’ 방식이다. 이는 모델의 가중치를 완전히 초기화한 상태에서 처음부터 학습하는 것을 의미한다. 겉으로 보면 단순해 보이지만, 이 방식 역시 내부적으로는 여러 갈래로 나뉜다.
가장 보수적인 형태는 이미 공개된 모델 구조를 그대로 가져와, 가중치만 초기화한 뒤 처음부터 학습하는 방식이다. 모델 아키텍처 자체는 기존 연구를 따르지만, 학습 데이터 구성, 토크나이저 설계, 학습 스케줄, 안정화 기법 등은 모두 자체적으로 설계해야 한다. 많은 경우 모델 구조는 공개되어 있어도, 실제 학습 레시피와 데이터는 공개되어 있지 않다. 그렇기 때문에 이 과정을 재현하는 것만으로도 상당한 기술력이 필요하다. 다만 이 방식의 한계는 분명하다. 기존 모델 구조를 그대로 가져오는 만큼, 모델 파라미터 크기나 입력·출력 구조 역시 큰 틀에서 자유롭진 않다.
조금 더 도전적인 방식은 기존 구조를 기반으로 하되, 이를 일부 수정하거나 새로운 모듈을 추가한 뒤 from scratch로 학습하는 경우다. 이 경우 모델 파라미터 수를 보다 유연하게 설계할 수 있고, 입력과 출력 형태 역시 목적에 맞게 조정할 수 있다. 하지만 그만큼 개발 난이도는 급격히 올라간다. 검증되지 않은 구조로 대규모 학습을 진행해야 하고, 작은 설계 실수 하나가 전체 학습 실패로 이어질 수 있기 때문이다. 이런 방식으로 안정적인 모델을 성공적으로 만들어낸다면, 이는 명확히 높은 수준의 기술력을 갖춘 조직이라고 볼 수 있다.
세 번째는 파인튜닝 기반 개발이다. 이미 존재하는 대규모 모델의 체크포인트를 기반으로 추가 학습을 진행하는 방식이다. 기술적으로는 가장 안정적이고, 개발 속도도 빠르다. 실제로 국내외 많은 서비스형 AI 모델들은 이 방식으로 개발되어 왔다. 하지만 이 방식은 ‘자체 기술’이라는 표현과는 거리가 있다. 성능의 상한선이 기존 모델에 강하게 의존하며, 근본적인 구조나 학습 패러다임을 바꾸기는 어렵다. 물론 파인튜닝 자체도 결코 쉬운 작업은 아니며, 제대로 성능을 끌어올리기 위해서는 상당한 노하우가 필요하다. 그럼에도 불구하고, 독립적인 파운데이션 모델 개발이라는 관점에서는 한계가 분명하다. 그래서 최근 국가 과제에서는 이러한 방식의 개발이 명확히 제한되거나 금지되고 있다.
이 세 가지 방식을 나란히 놓고 보면, ‘자체 개발’이라는 말이 얼마나 다양한 의미를 가질 수 있는지 알 수 있다. 완전한 백지 상태에서의 개발은 현실적으로 불가능에 가깝고, 대부분의 경우는 기존 연구 성과 위에서 어디까지를 자체적으로 설계하고 검증했는지가 핵심이 된다. 중요한 것은 마케팅적인 표현이 아니라, 실제로 어떤 기술적 선택을 했고 그로 인해 무엇을 새롭게 만들어냈는가다.
파운데이션 모델 개발은 단순히 큰 모델을 한 번 학습시키는 일이 아니다. 모델 구조 설계, 데이터 구성과 정제, 학습 전략과 안정화, 대규모 분산 학습 운영까지 모두 포함하는 종합적인 기술 문제다. 특히 국가 단위의 연구·개발 과제라면, 단기적인 성능 수치보다 이러한 기술 스택이 조직 내부에 얼마나 축적되었는지가 더 중요한 평가 기준이 된다. 어떤 방식으로 모델을 개발했는지를 이해하는 것은, 해당 모델의 기술적 수준과 연구 역량을 판단하는 출발점이 된다.
다만 국가 차원에서 AI 자체 기술력 향상을 위해 반드시 from scratch 이상의 개발 방식만을 고집해야 하는지에 대해서는 여전히 의문이 남는다. 어떤 선택이 장기적으로 더 나은 결과를 가져올지는 쉽게 단정할 수 없다. 중요한 것은 특정 방식을 정답처럼 받아들이는 것이 아니라, 각 접근법이 어떤 기술적 의미와 한계를 가지는지를 정확히 이해하는 것이다.