첫번째 실험, 조금은 아쉽지만 유의미한

'분석가'에서 '그로스PM'으로 (3)

9월 22일, 그로스 파트의 첫 실험이 런칭되었다.

9월 16일, 그로스 전략을 리뉴얼하고 1주일만이었다. 그 사이 많은 일들이 있었다. 그로스 파트를 결성했고, 매일 루틴하게 실험을 위한 준비 작업에 착수하며 서로의 합을 맞추었으며, 우리의 부족함을 보완하기 위해 책을 선정해서 지식을 습득하기도 했다.

그 결과 생각보다 빠른 시간 안에 첫번째 실험을 시작할 수 있었다. 실험 구좌는 앱 유저들이 주로 방문하는 구좌 중 하나로, 그동안 제품 개선이 되지 못해 1년 넘게 레거시로 남아있는 영역이었다. 유저들이 자주 방문하고 사용하는 구좌였으나 제품 경험 개선이 되지 못했기에, 점차 그 사용률은 감쇠하고 있는 상황이었다. 그로스 파트는 곧바로 실험 아이디어를 몇 가지 도출하고, 임팩트 있는 영역을 중심으로 아이디어를 가지치기한 다음, 각자의 직무 안에서 실험을 위한 요건들을 갖춰나갔다. 나는 PM/분석가로서 실험 설계, 성과 분석 환경을 맡았고, 개발자 동료는 빠르게 실험할 수 있는 환경을 시도, 제안, 구현해나갔으며, 디자이너 동료는 중간에 UX관점 기반으로 피드백을 주고 아이디어를 빠르게 피그마로 구현했다. 하나의 목표를 정하고, 몰입감 있게 따로 또 같이 일하다보니, 1주일만에 실험 런칭이라는 소기의 성과를 거둘 수 있었다.

물론 회고 포인트도 있었다. 우선 문제 중심으로 아이디어를 도출하지 못했다. 분명, 해당 구좌가 레거시인 것은 맞았으나, 그 사실이 과연 유저에게 문제였을까? 우리는 그 부분에 천착해서 더욱 파들어가지 않았고, 다소 피상적으로 영역 선정, 아이디어 선정, 실험 착수를 진행했다. 문제가 뾰족하지 않으니, 솔루션도 평범한 것들이 나왔고, 분석 결과 어느 정도 유의한 차이를 발견할 수 있었으나 드라마틱한 결과로 이어지지는 않았다.

또한, 임팩트 산정을 잘하지 못했다. 임팩트를 중심으로 아이디어를 가지치기했다고 생각했다. 그러나 실험이 끝나고 보니, 해당 구좌는 이미 고관여 유저들이 많이 방문하는 곳이라 기능 개선에 따른 임팩트가 상대적으로 적을 수밖에 없는 구좌였다. 이 부분을 알았더라면, 해당 구좌를 첫번째 실험 영역으로 삼지 않았을텐데 조금은 아쉬웠다.

그래도 기분은 좋았다. 우선 특정 세그먼트에게 유의한 경험을 제공했고, 스프린트를 빠르게 돌릴 수 있다는 자신감도 얻었다. 그로스 파트 구성원 간의 합도 점점 잘 맞고 있어서, 만 2주 3일이 지나고 있는 오늘, 벌써 3차 실험을 눈 앞에 두고 있다. 한때, 일주일에 실험을 2~3개 돌린다는 어느 빅테크의 상황이 더 이상 남일처럼 느껴지지 않는다는 점이 참 좋다.