갑자기 구독 결제가 막혔다
사실상 아무런 예고도 없이..
삼일절 연휴를 마치고 산뜻하게 출근한 월요일 아침, 여느 때와 같이 유저들의 주말 간 VoC 인입을 확인하던 중이었다. 유저와의 소통을 담당하는 UPO 팀에서 한 가지 확인 요청을 주셨다. 꽤 많은 안드로이드 유저들이 "결제가 안되어요"라는 티켓을 인입했다는 것. '음 가끔 네트워크 에러가 있을 수 있지.'라는 생각으로 가볍게 주말 간 신규 구독 건수를 확인한 순간, 무언가 크게 잘못되었음을 감지했다.
주말 간 구독 결제가 0건인 것이다.
유저들이 보내준 스크린샷 (좌), 구독 상품들 결제 건수가 0으로 떨어진 추이 (우)0건..?
이건 특정 앱 버전의 문제가 아니라 서버 문제라는 건데, 그럼 스토어 서버가 문제라는 건가? 부랴부랴 구글플레이스토어 콘솔을 확인해 보았다. 주문 내역들을 살펴보니 전부 '결제 거부' 또는 '결제 보류' 처리되어 있고, Payment profile 관련해서 문제가 있다는 alert를 발견했다.
'아, 신규 결제는 아예 막힌 것 같고, 기존 구독자들의 갱신은 보류 처리가 되었겠구나.' 신규 결제 막혀버린 것도 너무 가슴 아프지만 기존 구독자들 볼륨이 크다 보니 그 갱신만큼은 어떻게든 7일 내에 다시 살려야 했다.
게다가 월요일에 막힌 것이 아니라 토요일부터 막혔던 것이었다. 이미 만 2일 (48시간) 이상의 손실이 발생하고 있는 시점이었다. 이 배려 없고 무자비한 구글의 조치에 대한 분노가 마구 치솟으려던 찰나, 우선 다시 결제부터 살려야 한다는 생각으로 집중력을 모으기 시작했다. (이전 회사 버즈빌이 구글로 인해 서비스 존폐의 위험에 처한 적이 있던 터라, 나는 이러한 구글의 갑작스러운 정책 발효에 다소 민감한 편이다.)
어라 이거 이미 대응했던 건데...?
Payment profile 문제라고 지적된 부분은, 우리의 신원을 입증하는 서류를 추가적으로 제출해야 하는데 하지 않았다는 부분이다. 시작부터 상당히 억울했는데 - 몇 가지 짚고 넘어가자면,
1. 안내 채널 미흡
보통 이렇게 시급한 사한들은 메세지함을 통해 확인을 하고 대응을 하고 있었다. API 업데이트, SDK 제거 등 항상 기한이 정해져 있고 준수하지 않을 경우의 불이익이 명시되어 있다. Payment profile 문제는 이곳에서 확인되지 않았다.
2. 안내 내용 미흡
Payment profile 문제는 결제와 관련된 곳에 적시되어 있었으나, 언제까지 제출하라는 기한이 명시되어 있지 않았다. 불이익에 대해서도 'Payouts (대금 지급)이 막힐 수 있다' 였기에, 발생 매출에는 영향을 주지 않는다고 해석되었다. 무엇보다 관련된 메일을 보내주었다고 했으나 [Urgent], [Emergency] 등의 prefix 없이 수많은 안내 메일과 동일한 양태였다. 물론 그 메일에도 '기한'이나 '불이익' 명시가 없었다.
무난해 보였던 첫 안내 메일3. 팔로업 미흡
그럼에도 우리는 대응을 했었다. 미리 대응해서 나쁠 것이 없는 부분이기에, 안내된 프로세스에 맞춰 진행을 한 바 있다. 다만 대응 과정에서 구글 측의 팔로업이 누락되어 중단된 것이었다.
a. 온라인 프로세스를 밟는다. 상당히 까다로운 문답에 잘 응해야 한다.
b. 이후 이메일을 통해 CASE ID를 부여받게 된다.
c. 해당 CASE ID를 기재한 오프라인 서류들을 등기로 부쳐야 한다.
우리는 a까지 진행하였으나 b에서 이메일을 받지 못했다. 물론 더 이상 푸시를 하지는 않았다. 이메일이 누락될 정도의 사안이라면 천천히 진행되어도 되겠다 싶었던 것이다. (다른 격무로 바쁘기도 하고 말이다.)
다시 대응하면 되지..!
일단 사태 파악이 되었다. 대응하던 프로세스를 마무리 지으면 되는 부분이었다. 다시 온라인 프로세스부터 시작하여 CASE ID 발급을 기다렸다. 이번에는 제대로 메일이 도착했다. 그리고 오프라인 서류들을 구비했다. 하지만 그 이후도 쉽지 않았다.
일단 월요일(3월 4일)은 구글 코리아 전사 휴무였다. 오프라인 서류를 받아서 처리해 줄 사람이 없다는 뜻이다. 우리는 하루 발생 구독 매출액이 상당히 크다. 이렇게 하루가 지나는 것만으로도 너무 큰 손실이었다. 하여 우리 제품을 담당해 주시는 분께 (정말 휴무에 죄송하지만) 부탁을 드려 먼저 구글 글로벌 쪽에 우리 사안을 이슈 레이즈 해두었다. 위와 같이 분명히 억울한 상황이라는 점을 십분 고려하여 임시적으로라도 결제 block을 해제해 주기를 요청해 두었다.
CASE ID와 함께 도착한 피드백. 복구를 시작해 보자.각고의 노력으로 다행히 휴무일임에도 오프라인 제출에 대한 회신을 받을 수 있었다. 하지만 이후 오프라인 서류와 온라인 콘솔 상의 정보를 일치시키는 데에도 난항을 겪었다. 여러 사항이 있었는데 특히 '예금주' 이름이 서로 맞지 않다는 피드백에서 제법 오래 헤매었다. 해당 커뮤니케이션은 CASE ID를 발급해 준 Official 한 구글 Customer 담당자 분과의 메일로 진행되었는데, 아마도 글로벌 파이낸스 팀과의 소통을 가운데에서 이어 주시는 것 같았다. 그렇다 보니 명확성이 조금 덜했던 소통이기도 했고, 한번 질의를 주고받는 데에 2-3시간이 소요되었다. 한두 번의 피드백으로 이 이슈가 해결되지 않는다면, 우리는 또 하루 밤을 매출 손실과 함께 보내야 했다. 그리고 그 불안감은 현실이 되었다. 결국 월요일 내에 해결을 못하고 하루를 더 기다려야 했다.
피드백, 어떻게든 이해하기
사실 피드백 내용이 명확하지 않음에 크게 우왕좌왕하기 쉬웠다. 일단 사건 시작 단계부터 억울한 상황에서, 온 오프라인의 예금주 이름도 모두 동일하게 맞춰두었는데, 도대체 어디가 어떻게 다르다는 걸까?! "정확한 위치를 스크린샷의 형태로 알려달라..!"라고 진작 물어봐둘걸...이라는 생각과 함께 이제라도 물어봐두기로 했다. 그 답변을 얻기까지 몇 시간이 걸릴지 모르지만, 일단 물어봐두었다. 또한 마냥 기다릴 수가 없어 조금은 침착하게 기존의 메일을 찬찬히 뜯어보기로 했다. '계좌 번호를 언급하면서 예금주를 바꿔달라고 했었네... 예금주 필드 근처에는 계좌 번호 필드가 없는데.. 계좌 번호 필드가 있는 곳이 어디더라...?'
계좌 번호 정보를 관리하는 곳은 콘솔 내 딱 한 군데가 있었다. 그곳에는 예금주 필드는 없고, 계좌 이름 필드가 있었다. (ex. 월급 통장, 저축 통장 등 관리 목적의 이름) '아 여기를 바꾸라는 거구나...!' 지체 없이 바로 변경을 하고 재차 회신을 했다. "혹시 이곳을 말씀하시는 거라면 방금 모두 변경해 두었습니다...!"
그리고 문제가 약 5시간 뒤 해결되었다...! 모든 결제가 정상으로 돌아왔다.
이제 해야 할 건 명확한 손실을 파악하고 피해 복구 대책 마련하는 것..
눈물이 찔끔 났다...돌아보면,
업을 시작한 이래로 가장 스트레스를 받은 이틀이었다. 이 이슈가 언제까지 지속될지 모르는 불안감이 무한정으로 커져가면서 동시에 문제 해결의 열쇠를 내가 쥐고 있지 않다는 사실이 정말 힘들었다. 무한 긍정의 방어 기제로도 이겨낼 수가 없는 사안이었다. 티를 안 내려고 부단히 노력했다만, 문제가 해결된 날 잠을 9시간 넘게 잔 걸 보면 꽤나 정신이 지쳤던 것 같다.
여러모로 아쉬움이 많았다. 사전에 우리가 더 진득하게 팔로업을 보챘으면 어땠을까 하는 아쉬움도 있지만, 구글이라는 대형 플랫폼에 대한 야속함, 속상함이 더 크다. 왜 하필 월요일이 전사 휴무였을까, 왜 토요일에 막았을까, 왜 티켓 발급을 안 해줬었을까, 왜 기한과 불이익을 명시해주지 않았을까, 왜 인폼을 대대적으로 해주지 않았을까... 그리고 기왕 더하는 김에 터무니없는 아쉬움까지 더하자면 왜 이 큰 손실에 대해 보상을 해주지 않는 걸까....
내게 너무 큰 사건이었던 만큼, 누군가에게도 큰 사건이 될 수 있는 이 사건의 내막(?)을 공유하면서
다른 분들은 이 정도로 일이 커지지 않게끔 미리 잘 대응하시길 바라는 마음으로 글을 정리해 보았다.
생각보다 긍정회로가 먹히지 않았던, 간만에 정말 빡셌던 구글 이슈 회고.. 끝!
