에폭과 배치, 반복 속에서 배우는 법
AI 이야기 #11
누구나 한번쯤 이런 경험이 있을 것이다. 책 한 권을 통째로 읽었는데, 막상 시험지 앞에 앉으니 머리가 하얗다. 분명 공부를 했는데도 기억이 안 난다. 그래서 우리는 반복해서 읽고, 문제를 풀고, 틀리고, 다시 고친다. 어느 순간 눈앞의 문제가 낯설지 않게 느껴지는 그때, 비로소 “익숙해졌다” 고 말한다.
AI의 학습도 다르지 않다. 기계가 데이터를 보며 배우는 과정 역시, 한 번 보고 끝내는 게 아니다. 오히려 ‘보는 횟수’와 ‘나누는 단위’가 학습의 핵심을 이룬다. 이때 등장하는 개념이 바로 에폭(Epoch) 과 배치(Batch) 이다.
AI에게 데이터를 한 번에 몽땅 던져주는 건, 인간에게 백과사전을 통째로 외워보라고 시키는 것과 비슷하다. 불가능하지는 않지만, 효율적이지 않다. 그래서 사람도 하루에 조금씩 나눠서 공부하듯, AI도 데이터를 작은 묶음(batch) 으로 나눠서 배운다. 이 배치는 일종의 “공부 단위”다. 예를 들어 사진이 10,000장 있다면, 한 번에 32장씩 묶어 보여줄 수도 있다. AI는 32장의 이미지를 보고 “이건 고양이, 이건 강아지”라며 패턴을 조금씩 알아간다. 그리고 그걸 다 보고 나면, 다음 32장을 또 본다.
그런데 이렇게 한 번만 본다고 똑똑해질까? 아니다. 마치 수학 문제집을 한 번 푼다고 수능 만점을 받지 못하듯, AI도 같은 데이터를 여러 번 봐야 진짜 배운다. 이 데이터 전체를 한 번 전부 학습하는 과정을 “1 에폭(epoch)”이라고 부른다. 그리고 여러 번의 에폭을 거듭하면서, AI는 점점 더 정확한 답을 내기 시작한다.
에폭을 늘린다는 건, 결국 “복습”의 의미다. 첫 번째 에폭에서는 대충 패턴을 흉내 낸다. “이게 고양이 같긴 한데… 아닐 수도?” 두 번째 에폭에서는 자신감이 조금 붙는다. “이 정도 털 색이면 고양이 맞겠지.” 세 번째, 네 번째를 거듭할수록, AI는 틀렸던 부분을 조금씩 바로잡는다. 그렇게 반복 속에서 예측이 정교해지고, 결국에는 훈련 데이터 안에서는 완벽한 ‘기억’ 상태에 도달한다.
하지만 여기서 중요한 교훈이 있다. 반복이 많다고 반드시 똑똑해지는 건 아니라는 것. 인간도 공부를 너무 반복하면 지쳐버리고, 오히려 실수를 늘릴 때가 있다. AI도 마찬가지다. 에폭을 너무 많이 돌리면 ‘오버피팅(overfitting)’이 일어난다. 훈련 데이터만 너무 외워버려서, 처음 보는 문제 앞에서는 실수를 한다.
AI는 결국 “세상을 외우는 게 아니라, 세상을 이해해야” 하니까.
그래서 학습의 미학은 적절한 반복에 있다. 배치 크기를 조절해 AI의 집중력을 관리하고, 에폭 수를 조정해 과하지 않게 복습을 시키는 것. 이건 마치 학생에게 “하루에 10문제씩 풀되, 일주일 동안 세 번 복습하라”고 알려주는 것과 같다. 너무 적게 보면 배우지 못하고, 너무 많이 보면 틀린 걸 고치지 못한다.
이쯤에서 이런 질문이 떠오를지도 모른다. “그럼 에폭이 많을수록 좋은 게 아니야?” 좋을 수도 있고, 아닐 수도 있다. 데이터가 단순하고 명확할 때는 에폭을 많이 돌려도 문제없다. 하지만 데이터가 복잡하고 다양하다면, 어느 순간부터는 오히려 모델이 ‘정답만 외우는 학생’ 으로 변해버린다. AI가 학습 중 “손실(loss)”이라는 값을 점점 줄여가다가, 어느 순간 더 이상 개선되지 않거나 오히려 나빠지는 시점이 오는데, 그게 바로 “이제 복습을 멈춰야 할 때”다.
이것을 알아채기 위해 사람들은 조기 종료(Early Stopping) 라는 기술을 쓴다. 모델이 더 이상 발전하지 않는다고 판단되면, 훈련을 멈추는 것이다. 공부로 치면 “이제 충분히 외웠으니 잠깐 쉬어라”는 말과 같다. 그렇게 멈춰야, 다음 시험에서도 실력을 유지할 수 있다.
나는 이 과정을 볼 때마다 늘 인간의 성장과 닮았다고 느낀다. 처음엔 아무것도 모르고 시작한다. 낯설고 어렵지만, 조금씩 단서를 찾고, 실수를 반복하면서 배운다. 어느 순간 이해의 문이 열리면, 세상이 다르게 보인다. 하지만 욕심을 부려 더 파고들면 오히려 길을 잃는다. AI도, 인간도 결국 “적절한 반복 속에서 배우는 존재” 라는 점이 같다.
우리가 어떤 문제를 이해하려고 반복할 때, 그 과정은 단순히 효율적인 학습이 아니라, 실패를 끌어안고 다시 시도하는 일종의 성장의 서사다. AI가 매번 데이터를 되새기며 조금씩 정확해지는 것처럼, 우리도 인생의 데이터를 반복하며 점점 정교한 사람이 되어간다.
세상에는 단번에 깨우치는 천재도 있지만, 대부분은 반복 속에서 배운다. AI는 그 사실을 증명한다. 매번 틀리고, 다시 고치고, 때로는 과하게 외워버리기도 하면서 성장한다. 에폭과 배치, 이 단어는 결국 “배움의 리듬”을 뜻한다. AI의 리듬이 곧 인간의 리듬이다. 조금씩, 그러나 꾸준히 반복하는 것. 그게 바로 배우는 존재의 본능이니까.
