그날의 기억, 카카오 연민
돌발 고장 복구 담당자의 고통에 대하여
신나게 밤새서 게임해놓고 개피곤하니까 카카오 탓만 해 놓은 게 슬슬 미안해진다.
(배경 스토리 지난 이야기 참고)
https://brunch.co.kr/@ragony/162
사실 카톡 안 된다는 핑계로, 소년 감성으로 돌아가서 아무한테도 잔소리 안 듣고 밤 새 게임한 것뿐인데... 몸은 중년인데, 마음은 여전히 소년 감성이라 그 시절로 돌아가서 외부세계 차단하고 사이버 세상에서 지칠 때까지 놀고 싶지만 돈도 벌어야 하는 직장인이 어찌 그럴쏘냐... 심지어 나는 모든 직원들 근태를 점검하고 예산을 통제하고 안전을 보장해야 되는 설비 및 조직 책임자란 말이다... (아... 써놓고 보니 갑자기 느껴지는 무거운 압박감...ㅠㅠ)
사고 발생 사흘째인 2022년 10월 19일, 대부분의 카카오 서비스는 복구가 되었지만, 소소한 세부 기능은 여전히 동작이 안 되는 것들이 많다고 하며 이 말은 카카오 또는 카카오 협업사 누군가는 사흘째 밤샘 작업 중이겠거니 하는 생각이 든다. 내가 비슷한 것 해봐서 아는데... 기계나 전기 전자 설비 복구는 담당 감독 한 사람 빠지면 일관성 있는 작업이 안 된다. 복구조 편성해서 절반 일하고 절반 쉬고 하는 건, 기술 수준이 낮은 작업 보조자에게만 가능한 영역이고 세부적인 복구작업은 결국 업무 영역별로 책임 전문가 한 사람이 해결할 수밖에 없다. 사방팔방에서 압박은 해 대지, 할 일은 많지, 몸은 피곤하고 잠은 쏟아지는데 상부에선 작업 공정 어떻게 돼가냐고 한 시간이 머다 하고 자꾸 물어봐대지, 복구하기도 바빠 죽겠는데, 원인 결과 보고서 안 올린다고 닦달해대지, 왜 보고한 공정보다 늦어지냐고 자꾸 짜증내지...(니가 물어보는것만 안 해도 반나절은 더 단축하겠다는 말이 앞니까지 나오다 들어간다고!), 내가 복구현장을 안 봤지만 어떻게 돌아갈지 안 봐도 눈앞에 그려진다. 왜냐면 여기는 대한민국이니까.....ㅠㅠ(아참. 지금 내 몸은 파키스탄에 있지만.)
이번 사태로 떠오르는 그날의 기억 1.
2011년 9월 15일, 대한민국 대정전 사태.
사건의 전말은, 여름이 끝나고 선선한 가을이 당연히 왔다고 생각한 그날, 이상 폭염이 닥쳤다. 대부분의 지역에 찜통더위가 다시 닥쳤고, 가정, 상가 등 모든 에어컨디셔는 최대 가동을 시작했다.
그런데, 이 이상 폭염을 기상센터에서 수 일 전에 정확히 예측하지 못했다. 통상 석탄, 원자력 등 초 대용량 발전소들은 계획예방정비공사 일정을 최대 전력수요를 피해서 봄과 가을에 맞추며, 되는대로 하는 게 아니라 1년 전에 계절별 날짜별 전력수요 추이를 분석해가며, 공급 가능 발전소가 너무 겹치지 않도록 일정을 조절해서 전력거래소의 승인을 받아 실시하게 되는데, 9월 15일이면 늦더위 물러가고 충분히 선선해지는 계절이라 아마도 다수의 대형 발전소가 연간 계획예방정비공사에 들어갔었을 것이다. 9월 15일까지도 무더위가 기승을 부릴 줄 알았다면 전력거래소가 당연히 정비공사 승인을 내어주지 않는다. 즉, 어쨌든, 이미 선선한 가을이 시작될 줄 알고 발전소 여기저기를 뜯어 정비 중에 있는데, 하루 전에 갑자기 더워지니까 하던 정비 취소하고 다시 돌려라 그럴 수 없다는 뜻. 초대형 스팀터빈은 식혀서 분해하는 데만 최소 열흘, 정비 및 조립에 최소 20여 일이 걸린단 말이다.
어쨌든 다시 2011년으로 돌아와서, 대정전이 벌어지던 그 시간, 전력수요가 치솟기 시작하는데 더 이상 가동할 발전설비가 모자라기 시작할 즈음에, 모 석탄 발전소에서 고장이 발생해서 중견도시 전체를 커버하고도 남는 전력이 일순간에 떨어져 버렸다. 전체 계통에서 전력을 보상할 여유가 있다면 주파수가 잠시 흔들리는 정도로 커버가 되지만, 백업 전력 여유가 없으니 말단 주파수가 급격히 떨어져 버렸고, 인근의 발전소도 모두 정지되어 버렸다고 한다. 계통의 주파수가 너무 떨어지면, 터빈 및 발전기는 급격한 외란을 받게 되며 이는 심각한 설비고장으로 이어지니, 더 큰 피해를 막기 위해 보호장치가 작동해서 스스로 가동을 중지해버린다.(이런 걸 전문용어로 "트립된다"라고 표현한다.) 이미, 계통은 다수의 발전기를 이미 잃었고 이대로 방치하면 전국의 모든 발전소가 순차적으로 보호장치가 작동해서 정지될 거니까, 광역감시제어시스템이 개입해서 고부하지역을 자동으로 차단했을 것이고, 이를 인지한 거래소 통제 담당자가 순환정전을 긴급 시행했을 것이라는 게 대정전 전말의 개략적 시나리오다. 나는 전력거래소 직원도 아니고, 사고조사 보고서를 열람한 적도 없으니 정확한 내막은 알 수가 없지만 어쨌거나 동종 산업에 종사하는 사람으로서 대략적으로 전해 들은 내용이다.
다들 기억하다시피 전국적으로 난리가 났다. 엘리베이터에 갑자기 갇히는 사람이 생기고, 신호등이 먹통 돼서 교통이 마비되고, 수족관에 물고기가 죽어나가고, 가게 아이스크림이 녹고, 병원에서 수술이 중단되고, 신용카드 결제가 안 되고, 공장에서 배합 원료가 굳어버리는 등 정말 오만가지 분야에서 천문학적 피해가 발생했다. 100년 전까진 전력 자체가 없었는데, 전기 잠깐 안 들어온다고 이렇게 삶이 일순간 STOP 된다니!
당시 대통령은 비상회의를 소집해서 노발대발했고, (내 기억에 TV 나와서 화만 냈지, 끝내 대국민 사과는 안 했다...) 애꿎은 지경부 장관은 날라갔다. 당시 거래소 직원 다수도 중징계를 받았는데, 나중에 징계 취소소송에서 이겼는지 어땠는지는 잘 모르겠다.
국민들에게 말할 수 없는 불편을 끼쳤고, 천문학적 피해금액이 생긴 역대급 사고이며, 누군가는 책임을 져야 했다. 지금 와서 생각해보면 많은 시스템이 불완전했고, 전망과 계획은 엉터리였다. 그런데... 취임한 지 며칠 지나지도 않은 지경부 장관이랑 당일 전력거래소 운영 책임 담당자들은 사실 큰 잘못이 없다. 되려, 나는 그날 전력거래소 운영 책임자들은 훈장을 받아도 아깝지 않을 훌륭한 일을 했다고 생각한다. 아까 설명에 이어 조금 더 설명하자면, 전력수요는 그대로인데 공급이 딸리면, 전력계통의 주파수가 점점 떨어지는 일이 발생하며 국지적으로 발생한 말단 전압 이상과 주파수 저하가 국가 계통 전체에 확산된다. 이게 한계 이상으로 떨어지면, 아까 설명한 대로 발전설비의 심각한 고장을 방지하기 위해 전국의 모든 발전기가 일순간에 가동을 멈추는 일이 발생한다. 즉, 전국 단위의 블랙아웃, 완전광역정전이 온다는 말.
완전광역정전이 발생하면 국지정전과는 또 다른 세계가 열린다. 비틀비틀하는 팽이를 쳐서 다시 세우기는 쉽지만 쓰러진 팽이에 아무리 채를 쳐도 다시 세우기는 어렵다. 전력 계통도 비슷한 일이 발생하는데, 대부분의 대형 발전소는 외부 전력 없이 자체 기동이 불가능하다. 발전소를 가동하려면 계자도 여자 시켜야 하며, 윤활유도 공급하고, 냉각수도 돌리고 제반 주변설비의 선 기동이 필요한데 광역정전이 되면 외부 수전이 불가능하기 때문이며, 전력 0 상태에서 대용량 전력을 한 번에 가압하는 것도 계통에 바람직하지 않다. 그래서, 자체 기동이 가능한 소규모 수력발전소나 소규모 가스터빈 발전소부터 순차적으로 착착 가동하여 국가 전력망을 가압시키는데, 이게 그냥 발전소 전력만 공급하면 끝나는 게 아니라 발전한 만큼 수용가의 스위치도 동시에 켜 가는 작업을 하나하나 해 나가야 하기 때문에 완전광역정전이 복구되려면 최소 2주 이상의 시간이 필요하다는 것이 지배적인 분석이다. 당시 전국단위 순환정전은 30여분 단위로 일어났는데, 이게 광역정전이었다고 생각해보라... 특정 지역은 최장 2주간 전기 없이 사는 일이 발생했을 것이다.
발전설비를 제 때 확충했거나, 이상기온을 잘 예측해서 계획예방정비공사 일정을 사전에 조율했거나, 수요반응 제어 등을 촘촘하게 해서 대형 수용가를 일시 가동 정지토록 사전 권고했거나 했으면 당시의 915 대정전은 막을 수 있었을 거니까 당연히 정부도 한전도 전력거래소도 다 잘못했다. 그런데, 당시 광역정전을 막은 전력거래소 통제 담당자는 정말 영웅적인 일을 했다고 믿는다. 정황으로 보면, 전국 블랙아웃이 닥쳐도 하나도 안 이상한 날이었다. 그런데, 잠깐의 순환정전으로 전국 블랙아웃을 잘 막지 않았나. 그런데 결과는? 대통령의 직접 질책과 중징계. 어느 누구도 그들의 영웅적 블랙아웃 저지 활약상을 설명하지 않았다. 내가 당시 대통령이었다면 "이번 사태의 책임은 급증하는 전력수요를 사전에 준비하지 못한 정부의 책임입니다. 모든 잘못은 대통령인 제게 있습니다. 국민의 질책을 겸허히 듣고 질 좋은 전력망 확충을 위해 다시 한번 점검하겠습니다. 대신, 급박한 상황에서도 전국 블랙아웃이라는 위기에서 심각한 사고를 막아 낸 전력거래소 직원들을 비난하는 일은 삼가주시면 감사하겠습니다. 그들은 우리의 영웅입니다."라고 말했을 텐데. 정작 책임져야 할 사람들은 쏙쏙 피해가고 일선 말단 직원들만 희생양으로 썰려나갔다.
그날의 기억 2
벌써 10여 년도 훨씬 더 지난 설비 정비감독 시절 일이다.
정비공사를 마무리하고 설비를 시운전 중이었는데, 문제가 발생했다. 집채만 한 설비를 재가동하는데 자꾸 이상 진동이 발생했다. 하늘이 노래졌다. 설비를 계획한 시간 내 재가동하지 못하면 한 시간에 거의 5천만 원에 가까운 매출이 날아갈 판이었다. 이상 진동을 잡는 방법은 통상 회전체에 미소한 질량을 붙이거나 떼어내거나 하면서 질량 불평형을 바로잡는 방법을 쓰는데, 설비 덩치가 워낙에 큰 놈이라 이걸 온전한 속도로 높이는 데 대여섯 시간, 이상 여부를 확인하고 다시 정지하는데 서너 시간씩 소요되는 작업이라 진동 튜닝 작업에 매우 지난한 시간과 수많은 사람들의 노력이 필요한 일이다. 당연히 회사 전체가 난리가 났고, 나와 내 직속 상사를 포함한 정비담당자들은 회사에서 꼬박 며칠 날밤을 샜다.(이틀을 샜는지 사흘을 샜는지 정확히는 기억이 안 난다. 그런데 하루는 아니다...) 그런데, 아무리 노력을 해 봐도 자꾸 진동이 또 뜬다. 그렇게 분석하고 재기동하고를 수 차 반복하고 있는데, 해가 뜨고 전날 모든 걸 다 맡기고 퇴근했다가 잘 주무시고 나온 모 상사가 불같이 화를 낸다. "대체 밤새 뭘 어떻게 한 거야? 어? 이래 가지고 시간 내 맞출 수 있어?"
와 XX.. 지는 편하게 처 자고 와놓고 진짜 다들 며칠 밤샌 거 몰라? 10년도 더 된 기억인데 지금도 회상하니 심장이 쿵덕이고 손이 떨려온다. 내가 받은 충격이 이 정도인데, 정비 총책임자였던 내 직속 상사는 분을 이기지 못하고 그 상사에게 대 들었다. 제어실에선 두 분의 고성이 오갔고, 주변 직원들이 뜯어말려 다행히 폭력사태까진 가지 않았다. 현장에 있던 모든 직원들은 당연히 질책하던 상사 편이 아니었기에, 하극상 문제도 크게 불거지진 않았고 아직 사회분위기가 갑질에 관대한 시절이라 갑질신고도 없이 그냥 넘어갔다. 그리고, 여차저차 좀 더 고생을 거듭한 끝에, 다행히 설비 정비도 무사히 마치고 정상 기동을 할 수 있었다.
인간이 만든 기술은 완전하지 않다. 모든 시스템은 언젠간 고장이 나거나 말썽이 나기 마련이다. 그게 고장나지 않고 잘 돌아가고 있다면 어느 누군가가 고군분투하며 잘 정비하고 운영해서 달래가며 쓰고 있단 소리다. 적어도 내가 아는 한, 인간이 만든 시스템 중에서 고장나지 않는 완벽한 시스템이 있다는 걸 들어본 적이 없다. 물론, 그런 중요한 사회 시스템을 고장내지 말고 잘 운영하라고 직원들을 고용하고 많은 돈과 시간을 들이고 있다. 그래서, 고장나지 말아야 할 시스템이 고장이 난다면 그 시설 또는 시스템을 관리 운영하는 직원들이 책임을 져야 함이 당연하고, 이에 상응하는 비판과 비난을 받을 수는 있다고 본다.
그런데 그건 그거고, 당장 사고 나서 수습하느라 고군분투하는 직원들 힐난하고 욕하지는 말자. 그건, 나중에 다 정신차리고 누가 잘못한건지 찬찬히 복기하고 분석한 다음에 해도 하나도 늦지 않잖아. 사고 수습하는데 쏟을 에너지도 없는 사람들한테 힐난해 본들 누가 좋아지나? 일은 벌어진 거고 최대한 도와가며 격려하며 빨리 정상화하는 게 중요한 거지.
이번 카카오 사태의 본질적 책임은 문어발 확장에만 우선해서 경영하고 사용자 안정성을 위한 데이터센터 백업 서버 병렬화 투자 등을 등한시 한 카카오 경영진에 있다고 생각한다. 그런데, 당장 서비스가 안 되니 일선 창구 및 전화상담원, 운영 및 유지보수 직원들에게 일차적 화살이 쏟아질 것을 생각하니 비슷한 기술업계 종사자로서 연민의 감정이 많이 밀려온다.
통신, 전기, 가스, 수도 등 우리가 당연하게 24시간 사용하는 서비스들은 어느 누군가가 24시간 갈려나가고 있어 가능한 일들이다. 엔트로피 증가의 법칙에 따르면, 관리없이는(에너지의 투입이 없이는) 모든 게 금방 엉망이 되는 것이 당연하며, 시스템이 정상상태를 유지하려면 끊임없는 유지관리 노력이 없이는 안 된다. 1년 내내 24시간 당연히 서비스되는 줄 알았던 서비스가 갑자기 뻗어버리니, 갑작스런 불편에 화나는 사람도 많겠지만, 그런 서비스가 평상시 얼마나 고마운 것이었던가 생각해보는 계기가 되어보길 바라본다.
복구에 전념하신 카카오 일선 직원 여러분, 고생 많으셨습니다. 감사합니다.
