사업팀의 위기관리 101 #1
장애대응은 어떻게 해야할까요?
제가 막 사업팀 업무를 시작했던 2017년에는 "사업팀"으로 채용하는 케이스가 많지 않았습니다. 하지만 최근에는 사업개발 / 사업팀으로 채용하는 경우가 정말 많아졌는데요.
https://www.wanted.co.kr/wdlist/507/564?country=kr&job_sort=company.response_rate_order&years=-1&loc원티드에서 [사업개발, 기획자] 라는 포지션만 선택해도 수많은 채용공고를 볼 수 있고, 제가 인사이터에서 진행하고 있는 [IT 사업분석] 이라는 모임도 매번 모집인원을 조기마감하며 등록되고 있습니다.
https://insight-er.com/shop/all-prd/deep-dive/it-%ec%82%ac%ec%97%85/
사실 이렇게 "사업팀" 이 붐을 일으키다보니, 업계에서 사업팀 분들을 만나는 것도 어렵지 않게 되었는데요. 사업팀 분들은 특징적으로 ①말씀도 잘하시는 분들이 많고 ②호기심도 많으셔서 '비즈니스'라는 키워드 하나로도 2 ~ 3시간 수다를 떨곤 합니다.
이렇게 사업팀 분들과 만나서 이야기해보면, 항상 나오는 주제가 [위기대응] 인데요. 이번에는 사업팀의 위기대응 방법에 대해서 깊이있게 써보도록 하겠습니다. 아마 3 ~ 4개의 글로 나눠서 연재될 것 같은데요. 이 글을 읽고나면 "비즈니스 리스크 관리"를 하실 때 도움이 되실겁니다.
왜, 사업팀이 장애대응을 할까?
제가 위 [IT사업분석] 모임에서 종종 꺼내놓는 스토리가 몇 가지 있습니다. 공교롭게도 둘다 크리스마스와 연관되어 있는데요. 그 중에 신문에서도 몇 차례 언급된 2020년 크리스마스 이야기를 소개해보도록 하겠습니다. (2015년 크리스마스 이야기는 모임에서 말씀드립니다.)
2020년, 우아한형제들에서 일할 때 이야기입니다. 저는 크리스마스 이브라 친구들과 집에서 술을 마실 계획이었어요. (여친없는 솔로들을 모았더니, 무려 6명이 모이더라구요.) 제가 호스트라 일찍 집에가려고 6시 반쯤 배민을 켜면서 사무실을 나서고 있었습니다.
갑자기 저희 실장님이 절 부르시더라구요.
저희, 장애가 난 것 같아요
심장이 바닥으로 떨어지는 것 같았지만, 일단 태연한 표정을 지으면서 친구들에게 문자부터 돌렸습니다. "미안하다 오늘안에 집에가기 힘들 것 같다."
관련 슬랙채널 안에서 빠르게 문제의 원인을 파악해 나갔습니다. 크리스마스에 라이더가 몰리면서 서버장애가 발생했고, 제가 담당하고 있던 '배민라이더스' 서비스가 멈춰버렸습니다. 일명 "크리스마스 이브 장애"로 불리는 사건이었죠.
http://www.koreaittimes.com/news/articleView.html?idxno=102760사건이 발생한 24일 밤부터 최종적으로 음식가격 보상이 이루어졌던 28일까지 집에서 씻기만 하면서 사무실에서 업무를 처리했습니다. (한 층에 100명 가까이 근무할 수 있는 사무실에, 크리스마스에 혼자 출근하는 기분이란...) 모든걸 끝내고 나서도, 뭔가 "성과내는 업무"를 한게 아니라 "사건처리"를 했다는 사실이 조금은 힘빠지는 기분이더라구요.
사실 이렇게 장애대응에 불려다니다보면, "왜 내가 장애대응을 해야하지?" 라는 생각이 문득문득 들 때가 있습니다. IT스타트업에서 말하는 "장애"라고 하는 것은 대부분이 시스템장애를 뜻하는 경우가 많고, 이럴 때 사업팀은 급하게 올라가는 서비스 전문용어를 읽으면서 "아... 이게 그래서 무슨 이유로 장애가 났다는거야..." 라는 생각을 하는 경우가 더 많거든요.
하지만 사업팀 업무를 5년이상 하면서, 몇 차례의 장애를 겪다보니 이제는 "왜 해야하는지"를 알 것 같습니다. 사업팀의 정의가 "해당 사업을 운영하고, 이를 통해 돈을 벌어들이는 팀"이라고 한다면 - 장애시점에 고객들에게 어떻게 대응하는지는 개발팀이 아니라 사업팀이 고민하는 것이 맞다 싶더라구요. (물론 장애를 수습하는 것은 개발팀이 해주실 일이지만)
그렇다면, 이제부터 어떻게 대응해야 하는지 말씀드려 보겠습니다.
대체, 이런일은 어떻게 대응해야 할까?
원인을 알고, 미리 대비책을 세우는 것은 어쩌면 당연한 일입니다. 소잃고 외양간 고치는 것은 늘 어리석은 일입니다. 하지만 사업팀 업무를 한달이라도 해본 분들과 이야기를 나눠보면, "장애를 완전히 막을수는 없다" 라고 입모아 말합니다.
아무리 촘촘하게 계획을 세우고, 크로스체크를 한다고 해도 장애가 일어나는 것 자체를 막을수는 없습니다. (물론 대비를 하면 할 수록 일어나는 횟수 자체가 줄어드는 것은 맞습니다.) 그렇다면 장애가 났을 때 어떻게 대응하는 것인지가 정말 중요해집니다.
시작은 훈련입니다.
사실상 장애에 대한 대응은 명확합니다. (아마 대부분의 회사에서 가지고 있으실 수도 있어요.) 혹시나 하는 노파심에서 미리 짚어보고 넘어가보겠습니다.
① 매뉴얼을 설계해야 합니다
장애는 항상 '시간과의 싸움' 입니다. 장애가 미치는 범위, 장애가 지속된 시간, 장애의 원인을 신속하게 파악하고 빠르게 수습해야 합니다. 주문이 발생하고 있지 않다면, 어떻게던 주문이 발생하게 해야하고, 특정 페이지가 보이지 않는다면 다시 보이도록 조치해야 합니다.
이 과정에서 낭비되는 시간은 모두다, "고객의 불편"으로 돌아오기에 항상 장애대응 = 시간싸움 으로 요약됩니다. 빠른 대응을 만드는 첫번째 방법은 매뉴얼을 만들어두는 것입니다.
매뉴얼은 [탐지 - 전파 - 복구 - 후속조치]에 대한 행동지침입니다. 장애가 발생하고, 이에 대한 대처를 "고민없이 빠르게 행동할 수 있도록" 약속해둔 행동입니다.
https://techblog.woowahan.com/4886/장애대응 매뉴얼이 만들어졌다면, 그 다음은 키맨들을 설계해야 합니다. 행동지침이 설계되었다고 하더라도, 이 행동을 "누가해야 하느냐"가 미리 설계되어 있지 않다면 긴박한 시점에 빠르게 대응하기 어렵습니다.
마지막으로 훈련해야 합니다. 매뉴얼이 있고, 키맨들이 정해졌다고 하더라도 행동이 손에 익으려면 반복학습이 필요합니다. 다양한 작전을 몸에 익혀야 하는 단체스포츠인 야구 / 축구 등에서는 이런 반복훈련을 강조하는데요. 이런 반복훈련만이 긴급한 시점에 우리를 도와주는 힘이 되기 때문입니다.
(장애대응을 야구와 같이 반복훈련할 필요는 없겠죠. 대신 문서로만 보고 넘어가는 것은 분명 한계가 있습니다. 최소 한두차례의 반복훈련을 통해 어떻게 해야하는지를 알 필요가 있습니다.)
https://www.hani.co.kr/arti/sports/baseball/665614.html대중은 이슈 자체보다 이슈를 다루는 태도를 보고 지지를 결정한다
중요한 것은, 태도입니다
장애대응의 시작은 훈련입니다. 무슨 말보다, 빠른 행동이 고객에게는 중요합니다. 하지만 의사결정자에게 훈련만큼 중요한 것은 "이슈를 다루는 태도" 입니다.
오늘 주제로 다루고 있는 2020년 크리스마스 장애에 대한 대응 역시, 가장 중요했던 논의는 "고객에 대한 우리의 마음을 어떻게 표현할 것인가" 였습니다. 장애의 원인을 빠르게 파악하고, 다시 원상복구하는데 초기에 힘을 기울였다면 - 그 이후에 중요한 것은 "대응의 태도를 어떻게 가져갈까" 입니다.
http://www.koreaittimes.com/news/articleView.html?idxno=102760당시 회사에서는 장애로 인해 영향을 받은 모든 Stakeholder, 즉 업주 - 고객 - 라이더 모두에게 금전적 보상을 하는 것으로 결정하였습니다. 보상의 범위 역시 작지 않은 수준으로 설정하였구요.
벌써 세어보니 3번의 크리스마스를 장애대응하며 보냈더라구요. (왜... 저만...) 사업팀으로서 장애대응하는 일은 늘 식은땀이 흐르는 일이지만 - 오히려 이 대응의 태도를 통해 고객들에게 우리가 가진 [진정성]을 전달할 수 있다고 늘 생각해봅니다. (물론 장애가 없는게 최고의 진정성이구요)
