1종 오류의 함정

프로덕트를 죽음으로 이끄는 사고방식

주니어 PO의 일상

- A: 우리가 이런 기능을 개발하면 고객이 우리 프로덕트를 잘 사용하지 않을까요? 경쟁사에서도 이거 하나로 리텐션을 끌어올렸다고요! 안 할 이유가 없지 않나요?

- B: 어떤 의도인지는 알겠어요. 그런데 근거 데이터가 빈약한 것 같아요. 우리 최근 UX 리서치 결과 사용자 니즈는 다른 것으로 나왔었는데... 물론 이건 검토해보셨겠지만요. 그리고 이 방법은 우리 프로덕트 전략과 상충하기도 해요. 프로덕트 전략과 일치하면서 임팩트가 더 강한 일감이 있지 않을까요?

- A: 하지만...(울컥)

주니어 기획자라면, 몇 날 며칠 정리한 아이디어가 깨졌을 때 자신이 부정당한다는 느낌을 받아본 적이 있을 것이다. 그럴 땐 피드백의 논리에 결점이 없다는 걸 알면서도 마음 깊숙이 적대감을 느껴 방어기제를 취하게 된다. 우리는 한번 옳다고 생각하면 그게 틀렸다는 걸 쉽게 인정하지 못한다. 우리는 모두 너무나도 반짝이는 인사이트를 가졌고, 충분히 합리적으로 생각하는 사람들이니까.

속도가 생명

프로덕트가 성공하기 위해 가장 중요한 건 프로덕트를 개선하는 속도다. 그러나 항상, 방향은 편향으로 흔들리고 스피드는 망설임 때문에 느려진다. 특히 기획자는 편향에 빠져 속도를 늦추는 데 기여하기 쉽다. 사고 훈련을 통해 극복해야 한다.

하루 종일 VOC(고객들의 목소리)를 듣고 데이터를 보다 보면, 이 프로덕트를 나보다 더 잘 아는 사람은 없다는 생각이 든다. 수백 건이 넘는 VOC를 들었으니 내 의견이 곧 고객의 의견이라는 착각에 빠지게 된다. 그때부터 프로덕트는 점점 수렁으로 빠져든다.

똑똑하고 자신감 있는 사람들이라면 편향에 빠지기 더 쉬운데, 자신에 대한 확신과 적당히 합리적인 논리가 확증 편향이라는 괴물을 만든다. 이 괴물은 계속해서 우리가 아이디어를 뒷받침하는 근거만 찾게 하고, 몇 가지 편협한 근거만 가진 채 잘못된 방향으로 달리게 만든다.

없는데, 있어요

의사 결정을 할 때 '실제론 없는 데 있다고 판단하는 것'과 '실제로 있는데 없다고 판단하는 것' 중 어느 쪽이 더 위험할까? 통계학에서 말하기로 전자는 '1종 오류'이며, 후자는 '2종 오류'다.

프로덕트 관점으로 바꿔 말하면 1종 오류는 '고객들의 니즈가 없음에도 있다고 판단하는 것'이며, 2종 오류는 '고객들의 니즈가 있음에도 없다고 판단하는 것'이다. 결국 1종 오류는 to do로 이어지고, 2종 오류는 not to do로 이어지게 된다.

PO가 겪는 1종 오류, 2종 오류

C2C 중고 의류 거래 프로덕트에서 리뷰를 관리하는 PO가 있다고 가정해 보자. 사용자들을 인터뷰해 보니 일관되게 '리뷰가 더 상세하면 옷을 구매하는 데 도움이 될 것 같다'는 말을 한다. 데이터를 보니 리뷰 영역을 조회하고 구매까지 이어지는 전환율이 리뷰를 조회하지 않은 경우의 전환율에 비해 더 높아 보인다. 결국 사용자에게 더 자세한 리뷰를 제공하기 위해 몇 가지 일감을 마련한다.

[개선 방안]
- 리뷰에 이미지를 더 많이 첨부할 수 있게 하고,
- 리뷰를 달 때 이미지를 첨부하거나 텍스트를 더 길게 쓰도록 유도하고,
- 리뷰 길이가 긴 것을 우선 노출하도록 로직을 변경한다.

그러나 개선 방안대로 작업을 수행한 후 결과를 보니 기대와는 달리 구매 전환율이 5% 정도 감소했다. 리뷰가 작성되는 횟수도 줄어들었다. 실제로 옷을 구매하려는 사용자들은 상단에 노출되는 자세한 리뷰들을 읽는 데 피로감을 느꼈고, 리뷰를 작성하는 사용자들은 이전과는 달리 많은 정보를 요구하는 모달에 부담감을 느껴 이탈하게 된 것이다.

사실 이 PO는 상품을 살 때 모든 정보를 꼼꼼히 읽어보고 리뷰를 비교하며 오랫동안 쇼핑하는 성향이 있었다. 그래서 인터뷰를 할 때 자기도 모르게 사용자들이 '자세한 정보'가 필요하다는 것에 동의하게끔 유도했던 것이다. 알고 보니 분석했던 데이터도 소수의 사용자에 한정된 것이라 표본을 대표하기에는 무리가 있었다.

안타깝게도 1종 오류에 빠진 이 PO는, 사용자들이 필요로 하지 않는 기능을 개발하는 데 동료들의 소중한 2주를 낭비했다. 떨어진 지표를 복구하기 위해 기능을 롤백하고 씁쓸한 회고를 진행한다.

이렇듯 1종 오류는 효과 없음(때로는 부작용)과 리소스 낭비를 가져온다. 이 현상이 장기적으로 반복될 경우에는 기회를 놓치는 2종 오류보다 더 심각한 결과를 낳는다. 여기에 확증 편향까지 더해진다면, 고객이 아닌 자신이 원하는 프로덕트를 만들며 서서히 시장에서 퇴출된다.

* 커버 이미지 출처: Unsplash의Qijin Xu