AI 모델도 '교배'가 된다고? 부모보다 똑똑한 자식!

비드래프트, 허깅페이스에 모델 공개

AI 모델을 합치면 보통 성능이 떨어진다. 업계에서는 이걸 '1+1 < 1' 문제라고 부른다. 두 모델의 장점을 합치겠다는 의도와 달리, 결과물이 원본 하나만도 못한 경우가 대부분이다.

그런데 최근 허깅페이스에 흥미로운 모델이 하나 올라왔다. 한국 팀 VIDRAFT가 공개한 'Darwin-35B-A3B-Opus'. 두 부모 모델을 합쳤는데, 자식이 양쪽 부모를 동시에 넘어섰다는 주장이다. GPQA Diamond(박사 수준 추론 시험)에서 90.0%를 기록했고, 아버지 모델(84.2%)과 어머니 모델(85.0%) 모두를 초과했다.

과연 사실일까. 그리고 어떻게 가능했을까.

먼저, 두 부모를 살펴보자

이 모델에는 부모가 둘이다.

아버지는 알리바바의 Qwen3.5-35B-A3B. 사진과 동영상을 이해하고, 201개 언어를 지원하며, 코딩과 에이전트 작업까지 소화하는 범용 모델이다. 올라운더지만, 고난도 추론에서는 84.2점에 머문다.

어머니는 Jackrong이라는 개발자가 만든 Claude 4.6 Opus 추론 증류 모델이다. Anthropic의 Claude Opus가 가진 단계별 사고 능력을 작은 모델에 이식한 것인데, 추론 점수는 85.0으로 아버지를 앞선다. 다만 텍스트 전용 훈련 과정에서 이미지 인식과 다국어 능력을 잃었다.

정리하면 이렇다.

아버지는 건강한 만능 선수인데 추론이 약하고, 어머니는 추론 천재인데 몸이 약하다.

기존 방식 — 눈 감고 섞기

AI 모델 합치기(model merging)는 이미 널리 쓰이는 기법이다. 허깅페이스에는 매일 수십 개의 병합 모델이 올라온다.

그런데 대부분의 방법은 이렇다. 아버지 50%, 어머니 50%로 섞는다. 결과가 별로면 비율을 바꿔서 다시 한다. 45:55로. 40:60으로. 감으로.

문제는 AI 모델 하나에 파라미터가 350억 개라는 점이다. 각 레이어가 서로 다른 역할을 하는데, 전부에 같은 비율을 일괄 적용한다. 요리에 비유하면, 소금이든 설탕이든 고춧가루든 전부 같은 양을 넣는 셈이다.

결과는 대개 실망스럽다. 부모보다 못한 자식이 나온다.

Darwin의 접근법 — MRI를 먼저 찍는다

VIDRAFT가 만든 Darwin V5의 핵심은, 합치기 전에 부모 모델을 먼저 "스캔"한다는 것이다.

이들이 'Model MRI'라고 부르는 도구는 AI 모델의 40개 레이어를 하나씩 분석해서, 각 레이어가 어떤 기능을 담당하는지 파악한다. 인간의 뇌를 MRI로 촬영하듯, AI의 뇌를 레이어별로 CT 스캔하는 셈이다.

어머니 모델을 스캔한 결과가 인상적이다.

34~38번째 레이어에서 추론, 코딩, 논리 관련 신호가 강하게 검출됐다. 어머니의 "추론 뇌"가 여기에 집중되어 있었다. 동시에 충격적인 발견도 있었는데, 어머니의 전문가 네트워크 중 50~65%가 이미 사멸 상태였다. 텍스트만으로 훈련하는 동안, 이미지 처리와 다국어 담당 전문가들이 한 번도 활성화되지 못한 채 죽어버린 것이다.

반면 아버지 모델은 전 레이어에 걸쳐 균일하고 건강한 활성화를 보였다. 모든 전문가가 살아서 일하고 있는 상태.

이 스캔 결과가 수술 계획의 기초가 된다.

수술 — 3블록 정밀 이식

MRI 결과를 바탕으로, Darwin V5는 40개 레이어를 세 구간으로 나눠 서로 다른 비율을 적용했다.

첫째, 0~37번째 레이어에는 어머니의 비중을 60%로 설정했다. 추론 패턴을 네트워크 전반에 주입하되, 아버지의 구조도 40% 유지한다.

둘째, 38번째 레이어 — MRI에서 가장 강한 추론 신호가 나온 이른바 '골든 레이어' — 에는 어머니의 비중을 90%까지 올렸다. 어머니의 추론 엔진을 거의 통째로 이식한 것이다.

셋째, 마지막 39번째 레이어는 아버지의 비중을 47%로 유지했다. 이 레이어가 최종 출력을 결정하는데, 사진 인식과 다국어 처리 경로는 아버지 쪽이 우수하기 때문이다.

추가로, 어머니의 사멸한 전문가 자리를 아버지의 살아있는 전문가로 채워 넣었다. 일종의 장기 기증이다.

이 전체 과정이 181.6초 만에 끝났다.

결과 — 숫자가 말한다

GPQA Diamond(198문항, 박사 수준 추론)에서의 결과다.

아버지(Qwen3.5-35B-A3B): 84.2%. 어머니(Claude 4.6 Opus Distilled): 85.0%. 자식(Darwin-35B-A3B-Opus): 90.0%.

아버지 대비 6.9%, 어머니 대비 5.9%의 상대적 향상이다.

다국어 시험(MMMLU, 29개 언어)에서는 85.0%로, 아버지의 85.2%와 거의 동일한 수준을 유지했다. 어머니가 잃어버린 이미지/비디오 이해 능력과 201개 언어 지원도 아버지로부터 온전히 물려받았다.

수치만 놓고 보면, 이 모델은 어머니의 추론을 넘어서고, 아버지의 범용성을 보존한 유일한 조합이다.

건강검진까지 한다

흥미로운 건 병합 후에도 끝이 아니라는 점이다.

Darwin V5는 자식 모델을 다시 MRI로 스캔한다. 부모와 자식의 레이어별 중요도를 겹쳐서, "간섭"이 있는지(부모에 없던 비정상적 신호), "기능 상실"이 있는지(부모에 있던 기능이 사라졌는지)를 검사한다.

이번 결과는 "건강 — 문제 없음"이었다. 어머니의 추론 엔진이 34~39번째 레이어에서 정상 작동하고, 아버지의 출력 라우팅도 온전한 상태. 수술이 성공했다는 객관적 확인이다.

만약 문제가 발견되면 레이어별로 비율을 미세 조정하는 "재처방"이 가능하다고 한다. 이 부분은 아직 논문 공개 전이라 상세한 알고리즘은 확인할 수 없다.

기존 방식과 뭐가 다른가

정리하면 Darwin V5에는 세 가지 차별점이 있다.

하나, 합치기 전에 MRI를 찍는다. 어떤 레이어가 무슨 역할을 하는지 파악한 뒤에 비율을 정한다. 기존 방식이 '눈 감고 섞기'라면, 이건 'X-ray 보면서 수술하기'다.

둘, 자연선택을 적용한다. 사람이 비율을 정하는 게 아니라, 수백 세대의 진화를 거쳐 최적 조합이 "살아남는다". V4 단계에서 발견한 어텐션 16.8% / FFN 84.1%라는 극단적 비대칭은 인간의 직감으로 도달할 수 없는 영역이다.

셋, 합친 후에 건강검진을 한다. 부작용이 있으면 레이어 단위로 재조정한다. 만들고 끝이 아니라, 만든 뒤에 검증하고 고치는 폐루프를 돈다.

한계와 의문점

물론 짚어야 할 점도 있다.

우선 GPQA Diamond은 198문항뿐이다. 표본이 작아 점수 변동폭이 클 수 있다. 90.0%라는 수치가 재현 가능한지는 독립 검증이 필요하다.

어머니 모델(Jackrong의 Claude 증류 모델)의 벤치마크가 공개되지 않았다는 점도 아쉽다. VIDRAFT는 자체 평가로 85.0%를 보고했는데, 제3자 검증이 없으면 비교의 신뢰도가 떨어진다.

Darwin V5의 전체 알고리즘은 "논문과 함께 공개 예정"이라고만 되어 있어, 현 시점에서 기술적 세부사항을 완전히 검증하기는 어렵다.

다만 모델 자체는 Apache 2.0으로 공개되어 있고, 누구나 다운로드해서 직접 테스트할 수 있다. 주장이 맞는지 틀리는지는 커뮤니티가 판단할 수 있는 상태다.

왜 주목할 만한가

한계에도 불구하고, 이 프로젝트가 흥미로운 이유가 있다.

첫째, '1+1 > 2'를 수치로 보여줬다. AI 모델 병합에서 양쪽 부모를 동시에 초과하는 건 드문 일이다. 대부분은 한쪽을 올리면 다른 쪽이 내려가는 트레이드오프에 빠진다. Darwin은 추론을 올리면서 다국어와 멀티모달을 유지했다.

둘째, 'Model MRI'라는 개념이 신선하다. 모델의 내부를 레이어 단위로 진단하고, 그 결과를 병합 전략에 직접 반영하는 접근은 기존 mergekit 생태계에서 보지 못한 방법론이다.

셋째, RTX 4090 한 장으로 돌아간다. 전체 350억 파라미터지만 MoE 구조 덕에 토큰당 30억 개만 활성화되므로, Q4 양자화 시 약 18GB VRAM이면 충분하다. 접근성이 좋다.

넷째, 한국 팀이다. 대한민국 정부 GPU 지원 프로그램으로 H200 8대를 사용했다고 밝히고 있다. 대형 모델 훈련이 아닌, 기존 모델의 "진화적 조합"이라는 접근은 제한된 자원으로도 경쟁력 있는 결과를 낼 수 있다는 점에서 의미가 있다.

앞으로

VIDRAFT는 Darwin V5의 전체 알고리즘을 논문으로 공개할 예정이라고 밝혔다. 35B에서 검증한 이 패턴을 9B 스케일에 적용하는 후속 실험도 예고했는데, 성공하면 일반 노트북에서도 구동 가능한 고성능 추론 모델이 나올 수 있다.

AI 모델 병합이 "도박"에서 "과학"으로 전환되고 있는 걸까. 아직 논문 공개 전이라 단정하기는 이르다. 하지만 적어도, MRI로 부모를 먼저 진단하고 자식의 건강검진까지 하는 이 접근법은, 기존의 "ratio=0.5 넣고 기도하기"와는 분명히 다른 방향이다.

모델은 누구나 무료로 사용할 수 있다.

허깅페이스: https://huggingface.co/FINAL-Bench/Darwin-35B-A3B-Opus

라이브 데모: https://huggingface.co/spaces/FINAL-Bench/Darwin-35B-A3B-Opus

참고: 이 글은 허깅페이스에 공개된 모델 카드와 기술 아티클을 바탕으로 작성되었습니다.