쿠팡 UX Club 3.
테스트 결과가 예상과 다를 때
디자이너의 고민, 그리고 경험에서 찾은 솔루션
쿠팡 UX Club은 팀원들이 함께 고민을 나누고 해결하는 자리를 통해 관점을 넓히고, 긍정적인 자극으로 다함께 성장하려는 취지에서 시작된 팀 커뮤니티다. 자유롭게 의견을 주고 받는 분위기 속에 주니어 디자이너들로부터 공통된 고민을 들을 수 있었다.
1) 프로덕트 오너와 의견이 엇갈릴 때는 어떻게 해결점을 찾아야 할까?
2) 막막하기만 한 딥다이브, 어떻게 시작하면 좋을까?
3) AB테스트에서 솔루션의 성과가 좋지 않을때는 어떻게 해야 할까?
실제 프로덕트를 만드는 과정에서 자주 겪게 되는 문제들로, 넓게 보면 프로덕트 디자이너의 역할과 범위가 어디까지인지, 이를 바탕으로 어떻게 문제를 해결해야 하는지에 대한 고민이었다. 시니어 디자이너들은 경험에서 축적된 노하우를 바탕으로 주니어들의 고민에 대한 해결책을 제안했다. 1, 2편에 이어 공개되는 세 번째 주제에서는 AB테스트 결과가 예상과 달리 좋지 않을 때, 다음 단계로 나아가는 방법에 대해 이야기한다.
이전 아티클 보기: PO를 논리적으로 설득하는 법 / 문제 정의를 위한 딥다이브
AB테스트에서 솔루션의 성과가 좋지 않을 때,
다시 테스트하고 싶다면 어떻게 해야 하죠?
AB테스트란?
새로운 안을 기존의 안과 비교하여 실제 효과를 검증하는 실험이다. AB테스트를 진행할 때는 먼저 가설을 세우고 이를 검증하기 위한 지표(Metric)를 설정한다. 쿠팡은 새로운 솔루션을 도입하기에 앞서 AB테스트로 고객의 반응과 효과를 측정하는데, 내부에 자체 AB테스팅 플랫폼이 구축되어 있어 디자이너가 실험 결과를 실시간으로 확인할 수 있다.
쿠팡 UX팀 리드의 답변
딥다이브를 통해 문제를 검증하고 그에 맞는 커스터머 잡과 가설, 솔루션을 만들었다면, 개선 방향을 검증하는 단계에서 AB테스트를 진행해요. 그리고 테스트가 종료되면 미리 설정해둔 주요 지표(Metric)에 따라 테스트의 성공 여부를 판단하게 되는데요. 이때 예측과는 달리 분명히 개선해야 할 문제임에도 솔루션의 성과가 좋지 않다면, 기존에 정의한 문제와 가설, 솔루션에 허점은 없었는지 면밀하게 분석해봐야 해요. 이 과정을 거쳐야만 테스트를 그대로 종료할지, 다시 개선하여 이터레이션 할지를 정확히 판단할 수 있어요. 만약 가설이나 솔루션을 도출할 때 놓친 부분이 있다면, 이 부분을 보완해서 다시 테스트해볼 수 있구요.
실패한 테스트를 그저 결과로 바라보지 않고 새로운 인사이트를 얻는 지점으로 활용한다면 몇 번의 이터레이션을 거쳐 성공적인 결과를 이끌어낼 수 있어요. 패션 팀에서도 사이즈 탐색 문제를 해결할 때 이 과정을 거쳤죠. 가장 먼저 리서치 팀과 함께 고객들이 패션 상품을 구매할 때 어떤 행동 패턴을 보이는지 파악하려고 ‘쿠팡에서 패션 상품을 구매한 적 있는 고객'을 대상으로 서베이와 인터뷰, UT(사용성 테스트)를 진행했어요. 그 결과, 대부분의 고객이 사이즈, 컬러 및 스타일, 소재, 품질 순으로 상품 정보를 탐색하고 있었어요. 그중 가장 우선순위가 높은 사이즈는 주로 상품의 상세 정보 영역에서 사이즈 정보와 모델 핏을 확인하거나, 다른 고객들이 남긴 후기를 보면서 확인하고 있더라구요.
이번엔 ‘구매를 시도했으나 구매하지 않은 고객’으로 대상을 바꿔 구매를 포기한 이유를 물었어요. ‘내게 맞는 사이즈를 확인할 수 있는 정보가 부족하다’는 응답이 압도적으로 많았어요.
패션 상품의 상세 화면에서 사이즈 표를 찾기 어려운 게 원인이었죠. 사이즈 표의 위치가 제각각이고, 형태과 기준 또한 달랐거든요. 판매자가 상품을 등록할 때도 사이즈 표가 필수 요건이 아닌지라, 일부 상품에는 아예 사이즈 표가 제공되지 않기도 했어요. 사이즈 정보 없이 옷을 고르기는 어려울 텐데 말예요. 고객은 긴 콘텐츠 영역을 오르내리며 매번 사이즈 정보를 찾아야 하는 번거로움을 겪어야 했죠. 그래서 우리는 UX 리서치에서 수집한 데이터를 토대로 고객이 눈에 띄는 영역에서 사이즈 표를 쉽게 확인할 수 있다면 구매 결정을 더 쉽게 내릴 수 있을 거란 가설을 세웠어요.
상품 페이지의 상단에는 사이즈 관련 상품평을 간단히 확인할 수 있는 ‘사이즈 후기’ 영역이 있어요. 우리는 솔루션을 도출하는 단계에서, 고객이 제일 처음 머물게 되는 이 상단 영역에 새 기능을 추가한다면, 사이즈 후기와 함께 사이즈 표를 전보다 쉽게 찾을 수 있을 것이라 예상했어요. 그리고 곧바로 해당 영역에 ‘사이즈 안내' 버튼을 추가해 테스트를 진행했죠. 결과는 예상 밖이었어요. 대다수의 고객이 사이즈를 중요한 요소로 꼽았음에도 버튼 클릭률이 현저히 낮았거든요.
실패의 원인을 알아보고자 UT를 진행했는데 거기서 중요한 단서를 포착했어요. 고객들에게 상품 페이지 상단은 가격과 결제 혜택을 파악하는 영역으로 익숙해져 있어 새로 추가된 기능을 보지 못하고 지나친 거예요. 고객 대다수가 그 영역에서 가격과 배송, 결제 혜택만 봤다고 응답한 데서 알 수 있었죠. 하지만 하지만 더 놀라운 건 교차 검증을 위해 분석한 AB테스트 결과였어요. ‘사이즈 안내' 버튼을 한 번 이상 눌러본 고객의 구매 전환율이 그렇지 않은 고객보다 2배 이상 높았거든요. 비록 클릭률은 낮았지만, 우리의 가설에 뒷받침할 수 있는 유의미한 근거였어요. 눈에 띄지 않는 버튼을 개선한다면 클릭률이 낮았던 문제의 원인을 해결할 수 있겠다는 러닝 포인트를 얻었죠.
러닝이 있었으니 포기하지 않고 새로운 솔루션을 실험해봐야겠죠? ‘구매 의사가 있는 상태에서 상품 옵션을 선택하는 시점에 다시 사이즈 표를 찾아보게 된다’는 고객 인터뷰 내용에서 얻은 힌트로 적절한 노출 시점을 찾아 사이즈 옵션 선택 영역 옆에 ‘사이즈 안내' 버튼을 배치했어요. 사이즈를 선택해야 하는 단계에 사이즈 표를 쉽게 볼 수 있는 진입점을 만들어서 복잡한 탐색 과정을 단축시키는 거죠. 그리고나선 이 솔루션을 PO와 비즈니스 리더에게 제안했어요.
두 번째 테스트 결과는 어땠을까요? 우선 가장 주요한 지표였던 클릭률이 크게 증가했어요. 또한 사이즈 표를 참고한 고객들의 구매 전환율이 상승했고, 테스트 대상이었던 상품군의 총 거래액까지 증가하는 효과도 가져올 수 있었어요. 버튼의 주목도를 높이고, 구매를 견인한 성공적인 솔루션이었던 셈이에요.
테스트에 실패했더라도 놓친 문제가 무엇인지 파악하며 새로운 인사이트를 얻는 게 중요해요. 테스트는 문제의 본질에 더 가까이 다가가는 과정인 거죠. 기존 결과를 데이터 드리븐하며 근거 자료를 탄탄하게 확보한다면 개선 방향도 더 명확해질 거예요. 다음 이터레이션이 훨씬 수월해지는 것은 물론이고, 이해 관계자들을 설득하기 위한 근거 자료로 활용할 수도 있겠죠?
우리는 종종 같은 상황에 놓여있거나 이미 겪어본 동료로부터 문제를 푸는 열쇠를 찾기도 한다. UX Club은 외부에 털어놓기 어려운 고민, 어느 곳에서도 얻을 수 없는 생생한 경험을 팀원들과 공유하며 답을 찾아나간 시간이었다. 쿠팡 UX팀 안에는 배움을 나누는 크고 작은 커뮤니티가 존재할 만큼, 자유롭게 조언을 구하고 얻는 분위기가 조성되어 있다. 각자의 관점과 노하우를 아낌없이 공유하며 함께 성장해나가는 지금의 문화가 잘 유지될 수 있도록 팀에서도 UX Club을 지속적으로 운영해가며 소통을 지원할 예정이다.
Illustration by Julie
Edited by Ella
