탭 순서 변경에 A/B테스트 활용하기
2023.07.26
OFFOFF 소개
비슷한 관심사를 가진 사람들과 내 취향대로 모임을 만들고 온·오프라인 활동을 즐길 수 있는 소셜 데이팅 플랫폼입니다.
스프린트를 시작하며 열린 전사 아이데이션 회의에서, 핵심 아젠다 중 하나로 ‘(신규, 활성) 사용자의 리텐션을 높이자’는 목표가 설정됐습니다. 리텐션을 높이려는 이유는 단순히 수치(리텐션율) 개선을 넘어, 서비스 초기 단계에서 유입된 사용자가 제품의 핵심 가치를 제대로 경험하도록 돕고, 이를 통해 장기적인 성장 기반을 마련하려는 목적이 컸습니다.
당시 스쿼드에서는 이 목표를 달성하기 위해 다양한 실험 아이디어를 빠르게 도출하고, 우선순위가 높은 항목부터 A/B 테스트를 진행했습니다. 제가 속했던 팀은 A/B 테스트를 적극적으로 활용했는데요, 기능을 검증 없이 바로 적용했을 때 생길 수 있는 리스크—예를 들어 기존 유저나 신규 유저의 이탈 가능성—을 줄이기 위함입니다.
특히, 서비스의 핵심 구조를 변경할 때는 유저 경험에 직접적인 영향을 줄 수 있기 때문에 데이터 기반으로 판단할 수 있도록 실험을 설계하는 것이 중요했습니다. 실험 결과가 반드시 가설을 증명하지 않더라도, 그 과정을 통해 무엇을 배웠는지가 오히려 더 중요할 때가 많았습니다.
이번 글에서는 메인 페이지의 탐색 탭과 프로필 탭 순서를 변경하는 데 A/B 테스트를 활용했으며, 이 과정에서 실험을 어떻게 설계했고 어떤 인사이트를 얻었는지 공유하고자 합니다.
팀은 다음과 같은 순서로 A/B 테스트를 진행합니다.
A/B 테스트 프로세스
[1] 문제 정의
[2] 가설 수립
[3] 실험 설계 문서 작성
- 실험 목적
- 가설
- 주요 지표
- 기간
- Testing target
- 실험군/통제군 정의
- Test values
- 실험 방식
- 실험 도구/툴
[4] 실험 실행
[5] 데이터 분석 및 결과 공유
[6] 인사이트 도출 및 최종 결정
[7] 실험 회고 및 문서 아카이빙
실험 설계 배경과 가설
메인 페이지의 프로필 탭 도입 이후, 사용자들의 행동 데이터를 분석한 결과, 리텐션과 관련해 주목할 만한 사용 경향이 있었습니다.
프로필 탭에 방문한 신규 유저는 그렇지 않은 유저보다 D+1, D+2 리텐션이 평균 10%p 높다.
프로필 카드 상세까지 진입한 유저의 D+3 리텐션은 35%이다.
이러한 정량적 인사이트는 ‘프로필 중심의 탐색 경험’이 사용자 리텐션에 긍정적인 영향을 줄 수 있다는 근거가 되었습니다.
이에 따라, 탐색 탭 보다 프로필 탭을 먼저 보여주는 구조로 사용자 흐름을 설계할 경우, 다음과 같은 변화를 기대할 수 있다고 판단했습니다.
프로필 탭을 시작으로 하는 고객 여정을 유도하여 사용자의 액션(신청/매칭/생성/구매)이 활발해질 수 있다.
Daily routine을 유도하여 retention을 늘린다.
메인 페이지의 탭 구조 변경은 사용자의 첫 진입 경험에 직접적인 영향을 줄 뿐만 아니라, 몇 가지 우려되는 요소들도 있었기 때문에 A/B 테스트를 통해 사용자 반응을 먼저 검증할 필요가 있었습니다.
구체적으로는 다음과 같은 점들을 고려했습니다:
첫 화면에 프로필 탭을 노출하는 구조가, 신규, 기존 사용자에게 혼란을 주거나 이탈을 유도할 수 있다.
현재 프로필 카드 상세의 정보가 모임 초대와 같은 액션을 유도하기엔 완성도가 낮다고 판단되어, 유저의 이탈이 발생할 수 있다는 우려가 있다.
<가설 세우기>
이 실험의 핵심 가설은 다음과 같습니다.
프로필 추천 기능을 메인 서비스로 인지한 신규 유저는, 그렇지 않은 유저보다 리텐션이 높을 것이다.
적어도 30%의 유저는, 프로필 탭을 탐색 탭보다 먼저 본 경우 다음 날에도 앱을 사용할 것이다.
여기서 ‘30%’라는 수치는, 실제 행동 변화가 나타났다고 판단할 수 있을 만큼 충분히 유의미한 수치로 보았습니다.
실험 설계
주요 지표
Primary Metric - 리텐션
실험군 vs 통제군 신규 유저의 D+1, D+3, D+7 Retention
Secondary Metric – 탈퇴율
성별에 따른 실험군과 통제군의 탈퇴율
실험 대상 구성
실험 결과 분석
탭 순서를 변경한 실험군과 기존 구조를 유지한 통제군 간의 리텐션 및 탈퇴율을 비교한 결과, 전반적으로 실험군에서 사용자 이탈률이 더 높게 나타났습니다.
남성 유저
통제군 탈퇴율: 22.7%
실험군 탈퇴율: 24.5% (+1.8%p)
여성 유저
통제군 탈퇴율: 25.0%
실험군 탈퇴율: 34.4% (+9.4%p)
이러한 수치만 놓고 보면, 탭 순서 변경이 사용자 경험에 부정적인 영향을 준 것처럼 보입니다. 하지만 이 결과를 탭 구조 변경 하나의 영향으로 단정 짓기는 어려웠습니다.
특히, 실험군의 탈퇴율이 높게 나타난 원인이 지역 분포에 있을 수도 있지 않을까? 하는 의문이 생겼습니다. 이는 실험 설계 당시 지역 분포가 실험군과 통제군 간 균등하게 분배되지 않았다는 점에서 출발한 의심이었습니다.
만약 서울/경기 외 지역의 비율이 실험군에 더 많았다면, 다음과 같은 사용자 경험이 제한되었을 가능성이 있습니다:
지역 유저 풀이 적어, 프로필 탭에서 매번 같은 유저를 보게 된다.
보여지는 카드 수가 제한적이어서, 탐색의 다양성이 부족했을 가능성이 있다.
이러한 제한된 경험이 결국 이탈로 이어졌을 수도 있다는 가정을 바탕으로, 지역 기반 데이터를 추가로 분석하게 되었습니다.
지역에 따른 탈퇴율 차이
서울/경기 지역
남성: 실험군 21% vs 통제군 17% (+4%p)
여성: 실험군 32% vs 통제군 16% (+16%p)
지방 지역
남성: 실험군 32% vs 통제군 29% (+3%p)
여성: 실험군 39% vs 통제군 35% (+4%p)
특히 서울/경기 지역 여성 사용자에서 탈퇴율 차이가 두드러졌습니다.
이러한 결과는 사용자 세그먼트(지역 + 성별)의 기대와 경험 간 불일치가 영향을 미쳤을 가능성을 보여줬습니다.
예를 들어,
프로필 카드의 정보 완성도가 낮아 기대감을 충족시키지 못했거나,
모임 중심 서비스라고 인식하고 들어온 사용자가 프로필 탐색 화면을 먼저 마주하면서 거부감을 느꼈거나,
추천 프로필이 기대에 미치지 못했을 가능성 등 다양한 해석이 가능합니다.
이번 실험 결과만으로는 사용자 이탈의 원인을 하나로 단정짓기 어려웠습니다. 특히, 사용자 유형(예: 지역·성별)에 따라 서로 다른 반응이 나타났기 때문에, 향후에는 각 사용자 집단이 서비스 변화에 대해 어떻게 느끼고 반응했는지를 더 깊이 파악할 필요가 있었습니다. 이를 위해 정성적인 사용자 피드백(예: 인터뷰, 설문, 행동 분석 등)을 수집하는 한편, 탭 순서 변경만으로는 사용자 리텐션이나 만족도에 기대한 만큼 긍정적인 영향을 주지 못했기 때문에, 프로필 콘텐츠의 정보 완성도 같은 요소들을 변수로 삼아 추가 실험을 설계해야 한다고 판단했습니다. 예를 들어, 완성도 높은 프로필을 우선적으로 노출했을 때 탐색 지속률이나 이탈률에 어떤 변화가 있는지를 확인해 볼 필요가 있었습니다.
글을 마치며
이번 A/B 테스트는 팀 목표에 맞춰 문제를 정의하고 가설을 세우고 실험을 설계하고 결과를 해석하는 전 과정을 경험해 볼 수 있었습니다. 결과적으로 실험군의 리텐션과 탈퇴율은 기대에 미치지 못했지만, 이 과정에서 복합적인 원인을 명확히 하기 위해 어떤 데이터를 봐야 하고, 무엇을 다음 실험의 변수로 삼아야 하는지에 대한 인사이트를 얻을 수 있었습니다.
끝으로, 제 글을 읽어주신 모든 분들께 감사합니다 :)
