번아웃이 온 적이 있다.
정확히 언제부터인지 모른다. 그게 번아웃의 특징이다. 어느 날 갑자기 불이 꺼지는 게 아니라, 서서히 밝기가 줄어들다가, 어느 시점에 "아, 나 지금 아무것도 하고 싶지 않구나" 하고 깨닫는 것이다.
그때의 나는 전형적인 과부하 상태였다. 매일 글을 쓰고, 회의를 하고, 이메일에 답하고, 주말에도 뭔가를 하고 있었다. 쉬는 날에도 "생산적인 쉼"을 추구했다. 독서, 온라인 강의, 사이드 프로젝트. 쉬면서도 뭔가를 쌓고 있다는 느낌이 없으면 불안했다.
그 결과, 모든 것의 품질이 떨어졌다. 글이 늘어졌다. 아이디어가 안 떠올랐다. 더 많이 하는데 더 못하게 되는 역설.
드롭아웃(Dropout)은 AI 학습에서 쓰는 정규화 기법이다.
원리가 재밌다. 학습 과정에서 뉴런의 일부를 무작위로 꺼버린다. 전체 뉴런이 1,000개라면, 매 학습 단계마다 랜덤으로 200개를 비활성화한다. 나머지 800개만으로 학습한다.
직관적으로 이해가 안 된다. 뉴런을 끄면 성능이 떨어져야 하지 않나?
반대다. 드롭아웃을 적용하면 성능이 올라간다.
뉴런이 전부 켜져 있으면, 특정 뉴런끼리 공모(co-adaptation)가 일어난다. 역할이 고정되고, 특정 뉴런 하나가 빠지면 전체가 무너진다. 드롭아웃은 이 의존성을 깨뜨린다. 어떤 뉴런이 꺼질지 모르니까, 모든 뉴런이 독립적으로 기능할 수 있어야 한다.
일부를 끄면 전체가 강해진다. 이 역설이 드롭아웃의 핵심이다.
사람에게 드롭아웃은 뭘까. 의도적으로 비우는 시간이다.
아무것도 안 하는 시간. 생산적이지 않은 시간. 인풋도 아웃풋도 없는 시간. 이 시간을 죄책감 없이 확보하는 것.
신경과학 연구에 따르면, 뇌는 아무것도 안 할 때 "디폴트 모드 네트워크(DMN)"가 활성화된다. 이건 뇌가 쉬는 게 아니라, 다른 종류의 일을 하는 것이다. 기억을 정리하고, 서로 관련 없어 보이는 정보를 연결하고, 창의적 아이디어를 생성한다.
산책 중에, 샤워 중에, 멍하니 천장을 보고 있을 때 갑자기 아이디어가 떠오르는 경험. 그게 DMN의 작동이다.
하루 종일 집중 모드로 돌리면 DMN이 작동할 틈이 없다. 인풋을 늘렸는데 아웃풋이 줄어드는 이유가 이거다.
나는 주 1회 "드롭아웃 데이"를 만들었다.
규칙은 간단하다.
하나. 노트북을 열지 않는다.
둘. 목적 있는 활동을 하지 않는다. "이거 해야지" 하고 시작하는 건 안 된다.
셋. 그냥 한다. 산책을 하든, 누워 있든, 만화를 보든. 계획 없이.
처음에는 괴로웠다. 아무것도 안 하고 있으면 슬랙 알림을 확인하고 싶은 충동이 올라온다. 이메일을 안 봤으니 뭔가 놓치고 있을 것 같은 불안.
2주쯤 지나니까 변했다. 드롭아웃 데이 다음 날, 글이 잘 써졌다. 아이디어가 떠올랐다. 일요일에 아무것도 안 하면서 뇌가 배경에서 정리를 끝낸 것이다. 의식하지 못하는 사이에 재료가 숙성되어 있었다.
진짜 드롭아웃은 뭘 끌지 정하지 않는 것이다. "오늘은 독서를 쉬고 운동을 해야지" 같은 건 드롭아웃이 아니라 스케줄 변경이다. 계획 없는 빈 시간이 진짜 드롭아웃이다.
흔히 빠지는 오해가 있다. "쉬면 뒤처진다."
AI로 검증하자. 드롭아웃을 적용한 모델과 적용하지 않은 모델을 비교하면, 단기적으로는 드롭아웃 없는 모델이 학습이 빠르다. 당연하다. 전체 뉴런을 다 쓰니까.
하지만 학습이 진행될수록 드롭아웃 없는 모델은 과적합에 빠진다. 훈련 데이터에서는 완벽하지만 새 데이터에서 무너진다.
드롭아웃을 적용한 모델은 학습이 느리다. 하지만 장기적으로는 새로운 상황에 더 잘 대응한다. 강건하다.
사람도 똑같다. 매일 16시간 일하는 사람이 단기적으로는 더 많이 해낸다. 하지만 1년 뒤를 보면, 주기적으로 쉰 사람이 더 높은 품질의 아웃풋을 내고 있다. 번아웃에 빠지지 않고, 창의성을 유지하고, 예상 못한 상황에 유연하게 대처한다.
느린 것처럼 보이는 게 빠른 것이다. 조급함이 적이다.
정리하면 이렇다.
하나. 일부를 끄면 전체가 강해진다. 매일 모든 걸 전력으로 돌리면 과적합이 온다. 의도적으로 비우는 시간이 전체 성능을 끌어올린다.
둘. 쉬는 건 멈추는 게 아니다. 뇌의 디폴트 모드 네트워크는 쉴 때 작동한다. 기억을 정리하고, 연결을 만들고, 아이디어를 숙성시킨다.
셋. 드롭아웃은 랜덤이어야 한다. "오늘은 이걸 쉬자"가 아니라 "오늘은 그냥 끄자." 계획 없는 빈 시간이 진짜 드롭아웃이다.
뉴런을 전부 켜놓은 모델은 완벽해 보이지만 취약하다. 뉴런 몇 개를 무작위로 꺼놓은 모델이 실전에서 더 강하다. 당신의 일정표에 빈칸이 있는가. 없다면, 그 일정표는 과적합된 것이다.
빈칸을 만들어라. 죄책감 없이.