‘적합’한 줄 알았지? 과적합은 정반대야!
인공지능의 overfitting 이해하기
� “과적합”은 왜 나쁜 걸까?: 너무 잘 맞는 것도 문제인 이유
‘과적합’이라는 단어는 처음 들으면 뭔가 긍정적인 느낌을 준다. ‘적합하다’는 말 자체가 보통 좋은 뜻으로 쓰이기 때문이고, 여기에 ‘과하다’는 표현까지 붙으니 마치 엄청 잘 맞는 상태, 완벽하게 맞춰진 느낌처럼 들린다. 하지만 머신러닝에서 말하는 과적합은 오히려 그 반대, 매우 부정적인 상태를 의미한다.
� 인공지능은 ‘외우는 기계’가 아니다
인공지능의 핵심 역량 중 하나는 낯선 것들을 연결하는 능력이다. 배운 데이터를 조합하고 응용해서, 처음 보는 상황에서도 의미 있는 반응을 해야 한다. 이건 마치 여러 개의 그릇에 담긴 재료를 꺼내서 새로운 요리를 만드는 일과 비슷하다. 학습 데이터는 그 재료이고, 일반화는 그 재료를 유기적으로 활용하는 능력인 셈이다.
그런데 과적합된 모델은 한 가지 레시피만 반복해서 외운 셰프처럼 행동한다. 재료는 많지만, 늘 똑같은 방식으로만 조리한다. 학습 데이터에는 잘 반응하지만, 조금만 변형된 문제나 낯선 상황에는 전혀 대응하지 못한다. 기출문제만 달달 외운 학생이 조금만 비튼 문제에서 당황하는 모습과 비슷하다. 결국 과적합된 모델은 하나의 그릇 안에 갇혀버린 상태라고 할 수 있다.익숙한 틀에서 벗어나지 못하고, 새로운 재료가 들어와도 기존 방식만 반복하는 셈이다.
� overfitting = 움직일 수 없는 바지
이 어휘는 영어 어근으로 접근하면 더 직관적이다. ‘Overfitting’은 말 그대로 너무(over) 딱 맞는다(fitting)는 뜻으로, 옷을 피팅해보는 상황을 떠올려보자.
딱 맞는 바지를 입는 건 멋있을 수 있다. 하지만 너무 꽉 끼어서 움직이기도 힘들다면? 보기엔 괜찮아 보여도 실제로는 활동이 불가능한 상태다. 과적합도 딱 그런 느낌이다 — 너무 맞춰서 오히려 부자연스러운 상태.
책 '듀얼 브레인'에서 시작된 의문
