어쩌다 DT
08 - 장애
IT 기업에서 장애는
가장 무서운 말이다.
시스템이 정상적으로 돌아가지 않는 상태
장애
보통 장애가 났다고 표현한다.
시스템 운영자들에게는
시스템이 정상적이지 않을 때
문자로 알림이 온다.
시스템은 24시간 운영 되기 때문에
야간에도 문제가 발생하면 문자가 오고
담당자에게는 전화가 오기도 한다.
어떤 시스템이 어느 곳에 영향을 미치는지
정확히 파악이 불가능 할 수도 있기 때문에
내가 담당하지 않은 부분에 있어서도
중요도 등급별로 문자를 받게 된다.
내 역할이 작을 때는
보통 그 문자들이 나와 상관 없기 때문에
큰 문제는 아니었다.
하지만 점점 연차가 쌓이면서
중요한 역할을 맡게 되고
그 문자는 점점 압박감으로 다가온다.
내가 맡았던 역할은
다양한 서비스의 결합 조건을 확인해
할인을 해주는 로직을 관리하는 일이었다.
굉장히 복잡한 로직이었지만
그 로직들을 알아가고 비즈니스 요건에 맞추어
적절히 기존 로직을 수정, 조합하거나
새로운 조건을 코딩해 적용해 가면서
재미도 느끼고 자신감도 쌓아가고 있었다.
그러던 어느날
메인 업무는 아니었던
모바일 페이지에서
조건 하나를 추가해달라느 요청이 왔다.
그 정도는 눈 감고도 처리할 수 있었던
3년차
타 부서와 협의 하고
간단한 로직 연결을 추가해
모든 테스트를 마치고
순조롭게 시스템을 배포하고
(사용량이 없는 야간에 수정사항을 반영 하는 작업)
보람찬 하루를 마치고 퇴근 했다.
보통 배포가 있는 다음날에는
모두들 일찍 나와
각자 시스템에 영향이 없는지 살펴 본다.
큰 로직을 추가하지 않은 나는
영업점 오픈 시간인 9시까지
기본 점검을 마치고
상황을 지켜보고 있었다.
보통은 1시간 안에 아무 연락이 없다면
별 문제 없이 그 주의 배포를 마무리 한다.
여유롭게 커피한잔 하고
한주를 마무리 한다.
그런데 한 10분 쯤 지났을 무렵
주변이 웅성웅성 하더니
사람들이 나를 쳐다보고 있었고..
드 넓은 사무실에 사방에 매달려 있던 대형 모니터링 TV에
빨간색으로 쓰인 내 이름이
번쩍 거리기 시작했다.
장애
인터넷, TV, 전화 가입 불가
헉
머리속이 하얘지고
심장이 뛰기 시작했다.
이정도 장애는 보통 1급 장애로
1분 1초 지체할 수록
시스템 운영사가 문제된 시간만큼
보상을 해야하는 수준이 크다.
1급 장애인 경우에
순간적으로 문제를 파악해서 해결하는 과정을
거칠 수 없이 급박한 상황이기 때문에
무조건 원복이 원칙이다.
원복 - 원래대로 복원
어제 무슨짓을 했건
그 전 버전으로 돌린다.
순간 나보다 경험이 많은
선배에게 빠르게 전화 했다.
하필 선배는 화장실에서 큰 일을 보고 있었고...
원복을 내 손으로 했어야 했다.
다른 파트 선배들이 점점
내 뒤로 모여 들었고
(의자 뒤로 모니터를 보면서 둘러 서있다고 해서 병풍 이라 부른다.)
원복 버튼의 위치를 알려주며
침착하라고 조언 했다.
워낙 놀라 손이 떨리던 나는
한줄의 원인을 작성하고
원복 확인 버튼을 누르려던 순간
미끄러져 취소를 누르고 말았다.
이제 눈앞도 하얘지고
심장이 터질 것만 같았다.
하지만 선배들이 하나하나 차근히 처리할 수 있게 도왔고
나는 17분만에 원복 처리와
정상 작동 확인을 마쳤다.
그 순간
전국의 인터넷, TV, 전화의 가입이 중단됐었고
그 해의 첫 대형 장애
최단 시간 원복의
영애를 얻게 되었다.
외부 연동에만 집중한 나머지
기본 서비스 테스트를 하지 않은
나의 불찰이었다.
아직도 그날의 매 순간이 선명하게 기억에 남는다.
운전면허를 처음따고 도로에 나왔을 때를 생각해 보자.
좌우를 두리번
신호를 몇번이고 다시 확인
정신 집중
왠만해서는 사고가 나지 않는다.
하지만 그렇게 1년에서 2년이 지나면
운전에 자신이 붙고
운전 시간, 운전 거리가 늘어나면서
꼭 한번은 실수로 사고를 내곤 한다.
자신감이 생겼을 때
기본 원칙을 지키지 않다가
결국 일을 내는 것이다.
언제든 기본을 지키고 있는지
나를 돌아보자.
그렇지 않으면 곧
사고가 날 수도 있다.
