워딩 하나 바꿨을 때 생긴일
AI 유저테스트를 통해 답을 얻기
AI로 유저테스트를 돌려봤다
제가 담당하는 서비스 중 하나인 '서포터클럽'은 유료 멤버십 프로그램입니다. 가입자를 늘리기 위해 저희 팀은 다양한 지면에 가입 유도 배너를 노출하고 있었고, 특히 결제 직전 페이지에 배치된 배너는 클릭률과 전환율 모두 매우 우수한 성과를 보여주고 있었습니다.
하지만 어느 순간부터 데이터가 하락세를 그리기 시작했습니다. 이상 조짐을 빠르게 잡아내고, 원인을 해결하고자 저희는 1차적으로 배너의 워딩과 디자인을 수정했습니다.
✅ 바뀐 워딩, 바뀐 디자인
저희가 세운 가설은 아래와 같았습니다.
결제 전환 페이지의 배너가 눈에 띄지 않아 유저가 클릭하지 않는 것 같다.
기존안과 1차 수정안 비교기존 배너는 결제 흐름을 방해하지 않기 위해 조심스럽게 구성된 UI였기 때문에 새로운 배너는 사용자 눈에 더 잘 띄도록 시각적으로 강조했고 워딩도 더 매력적이고 직관적으로 느껴지도록 수정했습니다.
특히 "0원"이라는 문구는 유저 입장에서 가격 메리트를 직관적으로 전달할 수 있을 거라 판단했습니다. 결제 직전의 페이지에서 '가격'이라는 요소는 유저에게 가장 강한 관심 포인트였기 때문입니다.
그런데 결과는 예상과 완전히 달랐습니다. 배포 후 단 2~3일 만에 기존안 대비 클릭률이 50% 이상 하락한 것이 보였습니다. 그 후 2주간 지속적으로 추이를 지켜봤지만, 지표는 회복되지 않았고, 가입 전환율도 함께 떨어졌습니다. 결국 우리는 디자인을 다시 원복하는 결정을 내렸습니다.
✅ 2차 변경 (원복안)
결국 디자인은 기존 스타일로 되돌리고, 워딩만 “첫 달 0원으로 배송비 할인과 쿠폰팩 받기”로 변경했습니다.
이 워딩은 변경안의 메시지를 살리되 조금 더 결제 맥락에 자연스럽게 어울리는 형태로 정리한 것이었습니다.
배포 이후 결과 일부 지표는 회복되었지만, 여전히 원래 클릭률에는 도달하지 못했습니다.
✅ 워딩도, 디자인도 바꿨는데… 왜 안될까?
저는 고민에 빠졌습니다. 혜택은 동일하고, 디자인도 익숙한 형태로 되돌렸는데 왜 클릭률은 돌아오지 않을까? 전달하려는 혜택은 동일하고, 디자인도 원복했기 때문에 성과가 회복될 줄 알았습니다.
하지만 데이터를 들여다볼수록 본질적인 뭔가를 놓치고 있는 느낌이 강하게 들었습니다.
정량 데이터만으로는 한계가 있다고 판단했고, 정성적으로 유저가 어떻게 느끼는지를 확인해보고 싶었습니다. 계속 데이터를 들여다봤지만, ‘왜 유저들이 클릭하지 않았는지’ 정확한 이유는 보이지 않았습니다.
혹시 내가 아예 잘못된 가설 위에서 판단하고 있는 건 아닐까? 우리가 놓쳤던 부분이 있는게 아닐까? 그런 생각이 들기 시작했죠.
문제는 그런 의문을 검증해줄 방법이 마땅치 않았다는 점이었습니다. 내부에 유저 테스트 프로세스가 마련되어 있지 않았고, 데이터팀이나 리서처와 함께 깊게 파고들 여유도 없었어요.
매일 혼자서 지표를 보고 고민하면서도, “유저는 과연 이 배너를 어떻게 받아들이고 있을까?” 그 생각이 머릿속에서 떠나지 않았습니다. 그러다 문득 예전에 저장해뒀던 발표자료 하나가 떠올랐습니다. 피그마 플러그인을 활용해서 간단한 유저 테스트를 진행할 수 있다는 내용이었죠. 그렇게 Klever라는 툴을 사용해보게 되었습니다. 사실 마땅히 디테일하게 UT를 진행할 수 없는 상황이었기 때문에 ‘방법이 없으니 그냥 한번 가볍게 테스트해보자’는 마음으로 AI를 활용한 UT를 시도해보기로 했습니다.
✅ AI로 유저테스트를 돌려봤다
Klever는 AI 기반 유저테스트 툴입니다. 페르소나와 테스트 시나리오를 설정하면, 해당 화면에 대해 가상의 유저가 클릭, 응답, 시선 흐름 등을 시뮬레이션합니다.
제가 진행한 방식은 다음과 같았습니다.
1. 서비스 유저 페르소나 작성하기
우선 GPT를 활용하여 서비스를 사용하는 유저들의 페르소나를 설정했습니다. 여러명의 페르소나를 사용하면 좋겠지만, 간단하게 배너테스트를 하는 정도로는 너무나 명확한 유저 대상군을 설정하는 것이 좋았기 때문에, 이 부분에 대해서 GPT에 프롬프트를 넣어 페르소나를 확정했습니다.
2. 질문 내용 정리하기
유저 테스트를 위해 필요한 질문 목록을 구성했습니다. 이 또한 GPT의 도움을 받아 빠르게 최소 5개의 질문을 작성할 수 있었습니다.
3. Klever 테스트 진행하기
테스트를 위한 화면을 프레임 단위로 선택하여 klever에 페르소나를 입력해두고 준비해둔 질문을 입력하여 리포트를 받았습니다.
4. UT 리포트 결과 정리하기
총 3개 버전, 총 5개 질문에 대한 유저테스트 리포트를 GPT에 학습시켜 정보를 정리하였고, 인사이트를 도출했습니다.
5. AI UT에 대한 신뢰도 검증하기
실제 배포 후 얻은 정량 데이터와 UT 결과(정성 데이터)를 비교하여 유사성을 검증하였습니다.
✅ 예상보다 정밀한 결과값
솔직히 말하면 처음엔 큰 기대는 하지 않았습니다.하지만 AI UT 결과는 실제 성과 지표와 매우 유사한 방향의 인사이트를 보여주었습니다. 정량 데이터에 대한 의문을 정성 데이터 결과를 통해 이해할 수 있는 결과를 얻게 되었습니다.
AI UT를 통해 얻은 피드백은 실제 정량 지표가 보여주지 못했던 "유저가 왜 클릭하지 않았는지"에 대한 이유를 알 수 있었습니다.
B안
정량 데이터 결과 : 클릭률 50% 하락
정성 데이터 결과 : 너무 눈에 띄어 오히려 ‘광고’처럼 인식되어 유저가 의도적으로 선택지에서 배제함
C안
정량 데이터 결과 : 클릭률 소폭 반등 / 최초안의 클릭률에는 미치지 못함
정성 데이터 결과 : 같은 의미이지만 문장이 직관적이지 않고, 유저의 서비스 이해도를 고려하지 않은 문장이라 서비스 제공자의 의도와 유저의 이해도가 불일치함 > 클릭률 저하로 나타남
✅ Insight : 유저는 나보다 훨씬 모른다
프로젝트를 하며 무의식적으로 “유저도 당연히 서포터클럽을 알겠지”라고 가정하고 있었음을 깨달았습니다.
하지만 서포터클럽을 몰랐던 많은 유저들에게 결제페이지는 '와디즈에서 처음 만나는 지점' 이었습니다.
즉, 멤버십 자체를 처음 보는 유저들에게는, “첫 달 0원”이라는 말이 무엇이 0원인지 알기 어려운 워딩이었던 것 이었습니다.
"첫 달 0원"이라는 문구는 맥락 없이 보면 너무 많은 해석을 유도합니다.
무엇이 0원이지?
리워드랑 관련 있는 혜택인가?
또 이 배너는 리워드 하단에 위치해 있었기 때문에, 유저가 이 배너를 리워드 안내로 착각할 가능성도 충분했습니다.
이 페이지를 설계한 디자이너인 저는 전체 플로우를 알고 있지만 유저는 그렇지 않습니다. 내가 아는 정보를 유저도 안다고 가정하는 순간, 디자인은 실패할 수 있다는 걸 실감했습니다.
✅ 디자인 측면에서도 얻은 교훈
너무 튀는 배너는 오히려 광고처럼 느껴져 무시될 수 있다.
결제 흐름 중엔, 이탈을 유도하는 디자인은 무의식적으로 거부당한다.
유저가 명확한 의도를 가지고 접근하는 페이지에서의 특정 기능 유도 배너는 기존 UI에 자연스럽게 녹아들도록 설계되어야 한다.
✅ 마무리하며
디자인과 워딩이 사용자 행동에 얼마나 큰 영향을 주는지를 다시 한번 체감했습니다.
그리고 무엇보다 중요한 건,
“나는 아는데, 유저는 모른다”는 걸 절대 잊지 않는 것.
유저는 우리가 생각하는 것보다 훨씬 더 쉽게 놓치고 훨씬 더 빠르게 지나칩니다.
좋은 디자인은 결국 ‘유저가 놓치지 않도록 돕는 일’ 이라는 걸 다시 한 번 느꼈습니다.
