모두가 같은 방향으로 똑똑해지고 있다
1970년대 아일랜드에서 감자 단일 재배로 수백만 명이 굶어 죽었을 때, 농부들이 게을렀던 것은 아니다. 그들은 가장 생산성 높은 품종만 골라 심었고, 해마다 수확량은 늘었고, 그 선택은 매번 합리적이었다. 병충해가 오기 전까지는.
요즘 AI 모델들을 보면서 그 감자밭이 자꾸 떠오른다.
RLHF, 즉 인간 피드백 기반 강화학습은 모델에게 "이렇게 대답하면 사람들이 좋아한다"는 신호를 반복적으로 준다. 최근 연구들은 이 과정이 모델의 추론 능력을 실제로 기르는 것인지, 아니면 단지 그럴싸한 정답의 분포 안으로 지능을 구겨 넣는 것인지를 물었다. 결과는 후자에 가까웠다 — 강화학습 훈련 과정에서 모델은 지도학습 단계에서 이미 생성했던 솔루션의 범위를 실질적으로 벗어나지 못한다는 것이다.¹ 모델은 새로운 논리를 배우는 게 아니라 칭찬받는 형태를 학습한다. 그리고 구글, 오픈AI, 앤트로픽이 서로 다른 철학과 데이터로 시작했음에도, RL이라는 같은 필터를 통과하고 나면 약속이라도 한 듯 균형 잡힌 중립성과 표준화된 문체로 수렴한다. 열린 질문에 모두가 같은 목소리로 답하기 시작하는 것, 연구자들은 이것을 Open-ended Homogeneity라고 불렀다.²
나는 이 현상을 현장에서 먼저 겪었다. 대안 정보를 활용한 신용평가를 밀어붙이던 시절, 처음에는 기존 모델과 다른 길을 가고 있다고 믿었다. 데이터가 달랐고, 접근법이 달랐고, 철학도 달랐다. 그런데 어느 순간 알아버렸다. 목표 설정이 같은 한, 과정이 달라도 종착역은 같다는 것을. 정확도를 최대화하라는 단 하나의 나침반을 들고 있으면, 서로 다른 배가 결국 같은 항구에 닿는다. 그래서 한 발짝 물러났다.
정확도 지표에 매몰된 단일 모델만 쓰는 조직에서는 기묘한 일이 벌어진다. 모델은 데이터의 중심부에 있는 전형적인 고객만을 골라내고, Long-tail 영역의 비전형적 고객들은 '불확실성'이라는 이름으로 자동 배제한다. 처음에는 성능이 올라간 것처럼 보인다. 지표는 아름답고, 임원 보고서는 깔끔하다. 그러나 유입되는 고객군은 점점 동질화되고, 모델이 선호하는 유형 밖에 있는 시장 전체가 서서히 보이지 않게 된다. 이것은 에코챔버와 다르다. 에코챔버는 사용자의 취향을 가두지만, 이것은 공급자가 세상을 보는 렌즈 자체를 하나로 고정한다.
단일 작물로 가득 찬 농장이 병충해 한 번에 전멸하는 것처럼, 똑같이 튜닝된 모델들에 경제적·사회적 판단을 위탁한 사회는 그 모델들이 공유하는 공백이 현실화되는 순간 교정할 수 있는 다른 시각이 없다. 어디서 오류가 났는지 알아채기도 전에 시스템 전체가 같은 방향으로 기운다.
나는 요즘 모델링하는 후배들에게 종종 이렇게 말한다. 성능을 이만큼 올렸다는 달콤함에 빠지지 말라고. 그것이 AI 관점에서 가장 쉽고 사회적으로 가장 쓸모없는 일이라고.
필요한 것은 더 똑똑한 단일 모델이 아니라, 서로 다르게 틀릴 수 있는 모델들의 생태계다. 어떤 상황에서 어떤 모델의 논리가 작동하는지, 우리가 의존하는 AI 지형에 어떤 공백이 있는지를 아는 것. 모델의 성능이 아니라 모델의 분포. 이것이 지금 우리에게 필요한 리스크 관리의 실체에 가장 가깝다.
감자밭 이야기로 돌아오면, 아일랜드 농부들은 결국 다양한 품종을 섞어 심는 방법을 배웠다. 수확량은 조금 줄었다. 그래도 다시는 전멸하지 않았다.
우리가 키우고 있는 이 지능의 밭은 지금 몇 가지 품종으로 이루어져 있는가.
¹ Havrilla, A. et al. (2024). Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? arXiv:2504.13837.
² Raileanu, R. et al. (2025). Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond). arXiv:2510.22954.