PM이 데이터 분석하는 방법 Part. 4
PM이 놓치지 말아야 할 '배포 이후 데이터 확인하기'
안녕하세요. 저는 2년 차 프러덕트 매니저입니다.
지난 글에서는 데이터 분석 프로세스에 대한 이해를 담았습니다.
PM이 데이터 분석을 통해 의사결정을 내리는 과정은 단순히 데이터를 보는 것이 아니라, 서비스의 상태를 파악하고, 문제를 정의하며, 우선순위를 정한 후 개선하고 결과를 검토하는 일련의 프로세스로 이루어집니다. 이 과정에서 중요한 것은 표면적인 데이터만 확인하는 것이 아니라, 데이터의 흐름과 맥락을 파악하고 깊이 분석하는 것입니다. 올바른 문제 정의 없이 단순한 수치 변화만 바라본다면, 근본적인 해결책을 찾을 수 없습니다. 또한, 개선이 이루어진 후에도 데이터의 변화를 지속적으로 모니터링하여 기대한 효과가 실제로 나타나는지를 검증해야 합니다.
지난 글 링크 : PM이 데이터 분석하는 방법 Part. 3
앞서 다룬 기획 -> 디자인 -> 개발 -> QA를 거쳐 기능이 배포되었다면, PM의 역할이 끝났다고 생각하기 쉽습니다. 하지만 실제로는 배포 이후의 데이터 확인이 PM에게 가장 중요한 단계 중 하나입니다.
데이터로 증명하는 개선 효과
핵심은 PM이 개선하고자 했던 데이터가 실제로 개선되었는지를 확인하는 작업입니다. 단순히 "배포 완료" 상태로 프로젝트를 마무리하는 것이 아니라, 우리가 설정한 목표가 실제로 달성되었는지 검증하는 과정이 필요합니다. 서비스 개선 이전 확인한 데이터가 서비스 배포 이후 어떻게 변화했는지, 문제로 발견한 사항이 해결되었는지를 확인하는 일은 PM의 핵심 업무입니다.
단순히 지표 중심이 아니라, 실제 우리가 배포했던 기능이 그 지표 개선에 실제로 영향을 미쳤는지 확인해야 합니다. 시간적 선후관계가 있다고 해서 반드시 인과관계가 있는 것은 아닙니다. 예를 들어, 배포 시점과 지표 개선 시점이 일치하는지, 다른 외부 요인(마케팅 캠페인, 시즌 효과 등)의 영향은 없었는지 종합적으로 분석해야 합니다.
전체 퍼널의 이해
개선 결과 확인시 주의해야하는 부분은 가설을 세운 지표만 확인해서는 안된다는 점입니다. 해당 프로젝트를 통해 영향을 직접적으로 받는 지표는 물론이고, 간접적으로 영향을 받는 지표까지 같이 확인해야합니다. 예를 들어, 홈페이지 SEO 개선을 통해 방문자 증대를 이루어냈다면, 늘어난 숫자가 실제 제품에 대한 관심 혹은 구매까지 이어지는지 확인해야, 전체적인 사이클을 이해할 수 있습니다.
어떤 버튼의 클릭률을 높이기 위한 UI 개선을 진행했다고 가정해보겠습니다. 해당 버튼의 클릭률은 높아졌을 수 있지만, 사용자의 실제 전환율(구매/문의/회원가입 등)이 함께 늘어났는지는 별도로 확인해야 합니다. AAARR Framework에서 서로의 지표는 긴밀하게 연결되어있기 때문에, 한 지표의 개선이 다른 지표에 미치는 영향까지 종합적으로 살펴봐야 합니다.
결과 공유의 중요성
중요한 부분은 분석한 데이터의 공유입니다. 배포 후 데이터 확인 결과는 다양한 이해관계자들과 공유해야 합니다:
경영진/리더십에 대한 보고: 투자 대비 효과(ROI)를 중심으로 당초 목표 달성 여부와 그에 따른 다음 단계를 제안합니다. 비즈니스 임팩트를 중심으로 보고하며, 숫자로 명확하게 결과를 전달하는 것이 중요합니다.
프로젝트 멤버들과의 공유: 개발자, 디자이너, QA 등 함께 노력한 팀원들과 결과를 공유합니다. 각자의 노력이 최종적으로 어떤 결과를 가져왔는지 피드백하고, 성공했다면 공로를 인정하며, 개선이 필요하다면 함께 원인을 분석합니다. 이는 팀의 모티베이션과 다음 프로젝트의 품질에 직접적인 영향을 미칩니다.
타 부서와의 커뮤니케이션: 영업, 마케팅, CS 등 관련 부서에 변화 내용과 영향을 공유합니다. 특히 사용자 접점 부서들은 변경된 내용을 정확히 이해하고 있어야 하므로, 데이터와 함께 의미있는 인사이트를 제공하는 것이 중요합니다.
지속적인 개선 사이클
PM의 데이터 분석은 기획 전과 배포 직후에만 필요한 일이 아닙니다. 배포 이후의 데이터 확인과 공유까지가 하나의 사이클이며, 이 과정을 반복하면서 서비스는 점점 더 정교해집니다. 이 사이클이 완성되었을 때 비로소 다음 개선 포인트가 도출되고, 팀의 의사결정 품질이 향상됩니다. 우리가 Why에 대한 답변을 찾고 서비스를 개선했듯이, 그 결과에 대한 데이터 확인은 다음 Why를 찾는 출발점이 됩니다.
서비스 개선은 한 번의 시도로 완벽해지지 않습니다. 배포 후 데이터 확인, 결과 공유, 그리고 새로운 가설 수립으로 이어지는 이 선순환 구조가 서비스를 점진적으로 발전시키는 핵심입니다. PM은 이 사이클의 중심에서 서비스의 지속적인 성장을 이끌어가는 역할을 담당합니다.
