처절했던 6일의 기록
홍콩 진출기 12탄
2021년 4월 1일부터 6일은 내 생에 가장 처절했던 6일이었던 것 같다. 아무리 되짚어 생각해봐도 비즈니스적으로 이보다 더 절박했던 순간은 없었다. 어디서부터 이야기를 시작해야 할지도 모르겠다. 그저 이렇게 내가 오늘 살아있음에 감사할 뿐이다. 오늘 끝났지만 더 늦기 전에 내가 느꼈던 것을 꼭 기록으로 남겨야겠다는 생각에 피곤하지만 글을 쓴다.
지난 3월 프로젝트를 하나 시작했다. 홍콩의 SINO 그룹의 Gold Coast Plaza에서 진행하는 Digital Easter Egg Hunt Event 였다. Patrick과 함께 기획을 해서 아주 순조롭게 영업을 해내어 조금은 가벼운 마음으로 시작했던 프로젝트였다. QR코드를 사용해서 포켓몬고처럼 온 쇼핑몰과 공원 그리고 호텔을 돌아다니면서 Easter Egg를 헌팅하는 이벤트였다. 간단히 디비와 로그인 시스템 그리고 QR을 활용한 점수 계산 등만 하면 될 것 같아 그냥 이건 내가 기획부터 디자인, front & back - end CMS 개발 그리고 운영까지 혼자서 해봐야겠다 생각했다. 그리고 여차저차 생각보다 무리 없이 잘 나와서 이벤트 직전에 혼자서도 다 할 수 있다는 거만에 빠지면서 이벤트 마치면 모든 프로젝트의 공정을 혼자서 쳐낸 이야기를 써야겠다는 몇 걸음 앞서가는 오만을 부리고 있었다.
그리고 4월 1일 이벤트 날이 다가왔다. 첫날은 프리 오픈이라 VIP와 몇몇 초대된 사람들에 한해 이벤트 참가를 허용해 시작했다. 나도 우리 아이들을 오전에 데려와 아빠가 직접 만든 게임이야 라고 소개하면서 한참을 뿌듯해하며 놀다가 행사가 마치는 것을 보지도 않고 아이들을 데리고 집으로 돌아갔다.
그리고 집을 나와 잠깐 사무실에 가려고 차를 타려고 하는데 전화가 걸려왔다. 처절한 사투가 시작되는 순간이었다. 그 시간은 4월 1일 오후 3시다.
4월 1일 (금)
15:00 - 행사 진행요원이던 Cecilia에게 전화가 옴. 급한 목소리로 서버가 다운된 것 같다고 지금 참가자들이 난리 났다고 긴급 서포트 요청.
15:05 - 본사에 전화해 홍콩 서버 어찌 된 거냐고 도움 요청
15:15 - 최이사가 15분 전에 서버 호스팅을 맡고 있는 cafe24에서 홍콩 서버가 트래픽이 급작스럽게 올라가서 다른 회사 사이트들도 다운되고 있는 상황이라 긴급하게 서버 이전한다고 통지했다고 함. 홍콩에서 개발팀에 보고가 안됐기 때문에 그냥 그러라고 했다고 함.
15:30 - cafe24에 최종적으로 이미 서버 이전 작업이 완료됐지만 IP가 바뀌면서 A레코드를 바꿔야 한다고 연락 옴.
15:35 - 본사 개발팀에서 A레코드 바꿔줬음. 행사장에서는 클라이언트가 노발대발하고 있는 상황임. 고객들은 휴일날 가족 데리고 왔는데 너네가 우리 휴일을 망쳐놨다고 클레임 빗발침. 혼돈 그 자체.
15:40 - DNS가 바뀌면서 최소 2-3시간은 있어야 된다고 연락 옴. 결국 18:00시까지 진행되기로 한 행사는 이 시간부로 취소됨. 클라이언트는 엄청 화난 상태로 19:00시에 다시 복구시킨 다음 오늘의 사태에 대해서 리뷰하자고 함.
18:30 - 아직도 서버는 트래픽 초과로 서비스가 안된다고 나옴. 뭔가 이상했음. DNS가 바뀌는 중에는 아예 forbidden으로 뜨던가 할 텐데 트래픽 초과라고... cafe24에 확인해보니 A레코드가 아직 안 바뀌었다고 함. 우리 본사에서 도메인을 안 바꾸고 호스팅에서만 바꾸고 그걸 바꿨다고 나한테 보고한 거였음. 또 현타 왔지만 시간이 없어 내가 직접 들어가서 바꿨음. 다시 cafe24에 문의해보니 이제 제대로 바뀌었다고 함. 그래도 DNS세팅되려면 시간이 더 걸릴 거라고 함.
19:00 - 클라이언트는 아직도 해결 못했냐고 장난하는 거냐고 엄청 클레임 걸었음. 난 아무 말도 못 하고 오늘 밤 내로 무조건 해결하겠다고 말함. 난 사무실에서 전전긍긍하며 있었지만 내 파트너들은 면전에서 욕받이 되었음. 그게 너무 미안하고 너무 괴로웠음. 22시까지 해결하고 보고하라고 통보 받음.
20:00 - 계속 DNS세팅이 안되고 서버는 서버 이전 공지만 뜨고 있는 상태.
21:00 - 여전히 해결안됨.
21:30 - 점점 불안해짐. 개인적으로 서버 도메인 같은 거 많이 해봐서 내 경험에는 보통 2-3시간 이내면 다 되었는데 3시간이 돼도 해결이 안 되니 많이 불안했음. 인터넷에서는 맥스가 24시간이라고 나왔지만 설마.. 했다..
21:50 - 파트너 Patrick과 전화로 회의를 했다. 내 경험상 오늘 미드나잇에는 될 것 같긴 한데 솔직히 불안하다. 맥스는 24시간인데 24시간이면 익일 오후 6시다. 그렇게 되면 내일이야말로 오늘과는 다르게 돈 내고 티켓을 구매해서 온 사람들이기 때문에 행사 취소 자체가 불가하다. 만약 행사를 진행 못하게 되면 초유의 사태가 벌어진다. 모든 이벤트 노쇼. 어마어마한 위약금. 가장 중요한 고객인 SINO그룹과는 앞으로 다시는 일을 못할 것. 등.. 이루 말할 수 없는 공포와 부담이 내게 왔다. 나하나 죽고 마는 게 아니라 주 계약자인 내 파트너 회사에 엄청난 손실을 안겨주게 된다. 일단 패트릭과 결정은 고객과 10시 회의를 마친 후 하자고 했다.
22:00 - Patrick이 일단 자기가 고객과 지금 만날 테니 난 방법을 고민하라고 해서 백업플랜을 찾아봤다. ftp도 들어가지지 않았다. 파일도 백업해놓지 않아 다시 다 만들어야 하는 상황이었다. 방법이 없다고 생각되어 패트릭이 고객과 얘기하는 동안 다시 뭔가 작업을 하려고 하는데 밤을 새운다 해도 다시 해낼 자신이 없었다. 정말 울고 싶었다. 그리고 매분 서버 사이트를 열어봤다. 계속 서버 이전 공지만 뜨고 서버는 복구될 기미가 안보였다.
22:30 - Patrick이 전화가 왔다. 우린 무조건 내일 이벤트가 돌아가게 해야 한다면서 본인이 적극적으로 도와줄 테니 방법을 알려달라고 했다. 나는 그러면 내가 어떻게든 다시 미러링을 시킬 테니 QR코드만 다시 만들어달라고 했다. 고객이 그냥 프린터로 띡하는건 절대 용납 안 한다고 했다.. 그 시간 패트릭은 바로 공장 주인에게 전화를 걸어 상황을 설명하면서 공장문 좀 열어달라고 했다. 그 모습을 보면서 나도 복구 방법을 찾아봤다.
23:00 - 카페24를 보니 백업을 해도 ftp로 들어가야지만 다운을 받을 수 있었다. 아니면 내가 너무 경황이 없어서 못 찾았을 수도 있다. 하지만 어찌 됐든 그 방법은 포기하고 다른 방법을 알아보다 data&db 서버 이동 복사라는 기능을 발견하게 됐다. 카페24에서 구매한 서버들끼리 손쉽게 복사가 되는 기능이었다. 내 신용카드가 한국 결제가 안 되는 바람에 급하게 개인 계좌이체로 서버를 구매해 이동을 했다. 다행히 성공했다.
24:00 - 이동에는 성공했지만 서버 세팅에도 시간이 걸렸다. 밤 12시가 돼서야 확인이 가능했다. 도메인으로 걸어뒀던 QR 코드 URL과 DB name, pw 등등을 새로 바뀐 서버로 바꾸고 여러 번 다시 테스트를 했다. 패트릭에게 새로운 URL 65개를 넘기면서 QR코드 제작을 부탁했다.
4월 1일은 성금요일이었다. 예수님이 고난을 받고 돌아가신 날. 난 이날 정말 십자가에 달린 기분이었다.4월 2일 (토)
02:00 - 새벽 2시 테스트를 마쳤다. 그 시간까지도 기존 서버 DNS는 열리지 않았다. 젠장 이것만 되면 이런 고생 안 해도 되는데.. 패트릭에게 공장까지 안 가도 된다고 말할 수 있었는데.. 나 하나 때문에 이게 무슨 일인지.. 정말 아무리 생각해도 내가 너무나 한심하고 멍청하게 느껴졌다. 정말 매분 클릭하며 확인했다. 여전히 풀리지 않았다. 왜냐하면 공장에서 작업을 마쳤다는 얘기가 들리지 않았다. 설령 마쳤다 해도 고객이 내일 그것을 보고 오케이를 해줄지.. 그리고 그 아침에 모든 곳을 돌며 교체 작업을 할 수가 있을지.. 새로 만든 것에 대한 테스트는 또 언제 해보지.. 그냥 절망이었다.
03:00 - DNS 바꾼 지 9시간이 지났는데도 세팅이 안됐다. 정말 매분 매초 클릭했던 것 같다. 그리고 차를 타고 집으로 갔다. 잠깐이라도 눈을 부치고 새벽 일찍 현장으로 나갈 생각이었다.
04:00 - 잠이 안 온다. 기존 서버는 여전히 다운이다. 패트릭에게 와쓰앱이 왔다. "여전히 안되네..". 가슴이 미어졌다. 미안하다는 말도 안 나왔다.
05:00 - 한숨도 못 자고 그냥 일어났다. 바람이라도 쐬러 나갈까 하다가 그럴 여유가 있냐 미친놈아. 소리 지르고 다시 세수하고 사무실로 갔다. 백업 서버로 바뀌었으니 로그인 QR코드도 달라졌으니 사용자에게 알릴 심산으로 프린트를 하려고 사무실로 간 것이다.
05:30 - 사무실에서 프린트를 하고 내 데스크에 앉아있었다. 아무 생각 없이 다시 기존 서버 페이지를 모바일로 리프레시해봤다. 앗!!!! 되는 것이다! 예수님 감사합니다!라고 혼자 사무실에서 소리치면서 정말 엉엉.. 울었다. 그리고 다시 정신을 차리고 내 PC로 해보니 안됐다. DNS 세팅이 돌아오고 있었지만 간헐적으로 몇몇 IP에서만 작동이 됐던 것이다. 패트릭도 여전히 안됐다. 이런 상태로는 고객에게 서비스가 불가했다. 몇몇만 될 테니. 다시 눈물을 닦고 절망 모드로 들어갔다.
07:00 - 행사장에 도착했다. 10시 고객 컨펌 그리고 11시 행사 시작은 고객이 컨펌을 했을 때 진행하는 것이고 고객이 봤을 때 퀄리티가 그들의 스탠다드에 맞지 않으면 노쇼로 처리한다고 했다.
08:00 - QR코드가 기적적으로 도착했다. 상태를 보아하니 괜찮아 보였다. 빛의 속도로 순식간에 65개 다 잘 돌아가는 것을 확인하고 도우미들에게 다시 전달했다. 잘 좀 교체해달라고.
09:30 - 와쓰앱 단체방에 교체 다 완료됐다는 연락을 받았다.
10:00 - 고객이 직접 하나하나 다니며 테스트 시작.
10:30 - 행사 진행하기로 결정. 사실 고객도 노쇼가 되면 그들이 입는 피해도 어마 무지하다.
11:00 - 이렇게 행사가 진행됐다. 이 시간까지도 기존 서버는 완전히 돌아오지 않았다.
티켓을 구매한 사용자들이 아침 11시에 들어오기 시작했다. 그 긴 줄을 보고 있자니 정말 불안했다.12:00 - 난 죄인처럼 노트북만 보면서 대체 서버 트래픽을 실시간으로 계속 모니터링했다. 사람들은 계속 들어왔고 트래픽은 계속 올라갔다. 내가 다시 프로그램을 손댄지는 정말 10년 만이다. 서버 개발은 전에는 해본 적도 없다. 당연히 전날 서버 최적화 작업 또한 몰라서 못했다. 그저 트래픽 양만 대폭 늘려놨을 뿐이다. 이런 내가 동접자 300명이 65개의 애니메이션이 들어가 있는 페이지를 계속 여는 것에 대한 감이 있었을까. 정말 너무 무지한 내가 싫었다.
13:00 - 전날 저녁부터 아무것도 안 먹었는데 점심 생각도 없었다. 그냥 계속 모니터만 바라봤다.
14:00 - 패트릭이 간단하게 빵이라도 먹으라고 빵을 사 왔다. 정말 살기 위해 먹었다.
15:00 - 트래픽은 생각보다 더 높았다. 하지만 생각보다 잘 버텨주고 있었다. 그리고 생각보다 개발 자체에서는 버그가 거의 없었다. 정말 다행이었다.
15:30 - 카페24에서 본사에 또 전화가 왔다. 트래픽이 또 높단다. 서버 옮겨야 된다고 해서 내가 절대 안 된다고 했다. 카페24에서 보통 이런 행사 같은 거 하면 미리 알려줘야 본인들도 조치를 취할 수 있다고 한다. 그래그래.. 내가 미안하니깐 그냥 해줘라 아니면 나 죽는다라고 정말 감정에 호소했다. 알겠다고 하면서 대신 밤에 이전한다고 했다. 그러면서 어제는 도메인이 본인들께 아니라 오래 걸렸지만 이번 새로 오픈한 서버는 본인들 도메인을 사용하시니 이변이 없는 한 1시간 내로 된다고 했다. 정말 정말 불안했지만 내게 선택지는 없었다.
18:00 - 40기가 정도의 트래픽이 들어갔다. 50기가를 확보하고 있었으니 80% 정도를 소모했다. 그렇게 첫날 이벤트는 잘 끝났다. 마치면서 클라이언트가 그래도 하루 만에 잘 복구해줘서 고맙다고 해줬다.
19:30 - 비몽사몽중에 차를 몰고 주차장에 도착했다. 차에서 내리자마자 아까 먹은 빵이 올라오면서 전부 토해냈다. 하루 동안 너무 긴장한 나머지 정말 다 토해냈다.
20:00 - 집에 와서 매실차 한잔 마시고 패트릭에게 정말 정말 미안하고 정말 정말 고맙다고 메시지를 보냈다. 패트릭이 답문자를 했는데, 정말 난 무슨 복을 이리 받았나 라고 생각했다.
"Take a good rest tonight! We are brothers!"
본인 회사를 망가뜨리기 직전까지 몰고 간 주범에게 밤새 도와주고 마지막에 한다는 말이 우리는 브라더란다.
4월 3일 (주일) - 부활절
08:00 - 전날 저녁 8시에 잠들어서 12시간을 잤다. 그토록 바라던 부활절이 왔다. 그리고 몇 개월 만에 우리 교회가 다시 오프라인 예배를 하는 날이었다. 일주일 전부터 사전등록을 해서 우리 가족은 갈 수 있었다. 그런데 난 못 갔다. 이벤트 현장에 가야 했기 때문이다.
11:00 - 둘째 날이라 조금은 정신이 들었다. 그리고 주위를 둘러봤다. 정말 많은 직원들과 파트타임 헬퍼들이 행사를 진행하고 있었다. 그리고 무엇보다도 이 디지털 에그 헌트 자체를 즐기고 있는 일반 티켓을 돈 주고 구매한 사용자들이 눈에 들어왔다. 특히 어린아이들..
이렇게 단순한 게임을 저렇게 재밌다고 하네. 홍콩 사람들 이걸 돈까지 내면서 하네. 게다가 입소문까지 나면서 이날부터 마지막 날 4월 6일 오늘까지 전 세션 완판 됐다. 정말 첫날 백업플랜을 못 만들어냈다면.. 그냥 무작정 DNS가 풀려주길 기다렸다면.. 어찌 됐을까. 아 결국 그날 DNS는 장장 21시간 만에 전부 복구가 됐다. 이벤트 다 끝날 때 복구가 된 것이다. 백업플랜이 없었으면 난 지금 이 자리에 없었을 것 같다. 내가 어디까지 생각했냐면, 왜 사업하는 사람들이 사업 망하고 자살까지 생각하는지 알 것 같았다. 나만 망하면 이러지도 않았을 것 같았는데 내 파트너들과 많은 이해관계자들까지 다 망하는 상황이라 더 그랬던 것 같다.
패트릭과 간단한 리뷰를 오늘 가졌다. 여러 가지 이야기가 나왔지만 그래도 조금 정리를 하자면, 이 견디기 힘들었던 고난을 패트릭이란 정말 형제 같은 파트너와 이겨낸 이 경험. 정말 믿을 수 있는 파트너와 함께 위기를 기회로 만든 이 경험. 다시는 하지 말아야 할 실수를 했지만, 이 경험은 내 평생의 자산이 될 것이라고 생각한다. 그리고 뉴노멀 시대에 맞는 새로운 형식의 컨택레스 디지털이 가미된 이벤트의 시작. 단순한 게임에 남녀노소 쉽게 열광하는 일반 사용자들. 협업의 중요성 등..
내게 다시는 오지 말았으면 하는 순간이지만,
내게 평생의 자산이 될 6일이었습니다.
