by
Nov 24. 2023
올해 첫눈 후기
사실 첫눈은 못보고 날벼락 때문에 정신 못차렸습니다.
설래-라는 글을 썼다.
https://brunch.co.kr/@quotation2520/114
눈에 대한 시를 쓴 김에, 마침 지난주에 첫눈도 왔겠다 올해 첫눈이 오던 날 (정확히는 밤)에 있었던 썰을 하나 풀까 하는데, 시의 내용과는 다소 무관한 내용으로 감상을 해칠 수 있어서 따로 빼기로 했다.
-
올해 첫눈은 지난주 금요일, 그러니까 11월 17일 밤에 내렸다. 그걸 정확하게 기억하는 이유가, 그날은 CVPR 논문 제출 마감일 D-1이었으니까. 마감일 전야(前夜). 너무 바빠서 밖에 나가 첫눈을 맞지는 못했다. 다만 연구실에 앉아 커튼을 조금 젖히고는 창밖으로 쏟아지는 눈을 가끔씩 쳐다보며 아쉬운 마음을 달랠 수 있었다. 아름다운 풍경을 한 번 보고, 재미없는 논문을 한 번 보고. 이렇게 자린고비... 아니, 형설지공...? 암튼, 하며 밤을 지새우는 중이었다.
사실 그때의 피로감은 이미 극한에 달해있었다. 이미 월화수를 꼬박 연구실에서 새운 뒤였고, 책상 위에 어지러이 놓인 다 마신 에너지드링크 캔은 내가 수면부채를 제3금융권까지 끌어 쓰다 못해 핫식스 리볼빙에 의존하는 수준이었음을 방증했다. 그러나, 단 하루만. 단 하루만 더 이 지긋지긋한 논문 작업을 견디면 제법 넉넉한 연말을 보낼 수 있을 것이라는 기대를 나는 갖고 있었다.
그런 내게 청천벽력 같은 소식이 들려온 것은 새벽 4시가 넘은 시각이었다. 갑자기 온 후배의 다급한 카톡:
[오전 4:18] 오빠 지금 뭔가 이상한데요?
[오전 4:19] 엥 무슨 일이야?
[오전 4:19] 저만 ckpt 파일 안 보여요?
[오전 4:19] 어?? 나도 안 보여. 뭐임???
그러니까... 상황 설명을 하면, 지금껏 논문을 준비하며 학습했던 모델의 저장 데이터(체크포인트)가 새벽에 갑자기? 증발을 했다는 것이다. 너무 믿을 수 없는 내용이어서 직접 확인을 했지만, 아무것도 남아있지 않은 실험 결과 폴더도, 갑자기 늘어난 잔여 디스크 용량도 모두 후배의 말이 사실이라는 것을 뒷받침했다. 다시 말해 논문에 쓰인 모든 실험 결과를 증명할 자료들이 모두 소실됐다는 뜻이었다. 또 다음날까지 학습을 마치고 분석을 하려고 했던 보충 실험도 처음부터 다시 해야 한다는 뜻이기도 했다.
만약 내가 조금 더 제정신이었다면 그 자리에서 정신을 놓아버렸을 것이다. 그러나 나는 이미 정신줄을 어느 정도 놓친 상태였고, 이제 12시간이 겨우 남은 시점에서 데이터를 복구하는 것은 불가능하다는 것을 알았다. 이걸 왜 아냐면... 3월에 ICCV 논문 제출을 2주 전에도 같은 일을 겪었으니까. 그때는 무려 checkpoint 파일뿐만 아니라 실험에 사용한 코드 파일도 모두 사라졌었다. 하하. (그때 내 3개월을 삭제한 범인이 이번에 새벽 카톡을 보낸 후배다.) 여러분, 절대로. "sudo rm -rf" 같은 명령어는 함부로 쓰지 마세요. 중요하니까 강조합니다. "sudo", "rm", "-rf" 함부로 쓰지 마세요. 나는 사실 아직도 저 세 명령어 조합을 보면 심장이 내려앉는데, 그때 정말 내가 살생을 저지르지 않은 것이 내 대학원 생활에 있어 작지 않은 업적으로 남을 정도로 터무니없이 충격적인 일이었다.
다행히(?) 이미 비슷한 경험을 한 나는 먼저 실험 코드에는 문제가 없는 것을 확인하고, 빠르게 제출 마감까지 남은 시간과 보충 실험에 걸리는 시간을 계산했다. 범인을 찾는 데에 낭비할 시간조차 없었다. 다만 어느 정도 뒤처리를 한 다음에 이런 카톡을 연구실 단톡방에 남겼다.
