데이터 맹신의 함정
클릭 수는 ‘불쾌감’을 측정해주지 않는다.
나는 데이터를 좋아한다. 일 할 때 데이터 기반으로 하는 커뮤니케이션을 좋아한다. 작년에 가장 힘 쏟은 프로젝트가 빅데이터를 활용한 큐레이션 서비스다. 심지어 개인적으로도 일상을 데이터로 기록하기를 좋아한다. 이제 아무도 안 쓰는 애플 워치 매일 차고 다니면서 일상을 트래킹하고 그날 그날의 기록을 인포그래픽으로 본다. 나 자신이 기록 덕후 같기도 하다.
데이터 기반으로 커뮤니케이션을 하고 의사결정을 내리면 명료하고 반박하기가 어렵다. A에서 B로 고치니,
- 사용자가 더 많이 클릭했으니까.
- 가입자가 더 늘어났으니까.
- 구매를 더 많이 했으니까.
- 다운을 더 많이 받았으니까.
그런데 회사에서 최근에 몇 가지 일을 겪으며 '데이터만으로' 의사결정을 내릴 때의 위험성을 체감했다.
A라는 팝업을 넣었을 때 가입자가 100명 늘어났다고 가정해보자. 데이터만 보면 이 팝업은 사업에 긍정적인 영향을 미쳤다. 잘 넣은 팝업이다.
그런데 이 A라는 팝업을 보고 900명이 짜증이 났다. 이 팝업은 더 이상 좋은 팝업이라고 말하기 어렵다. 하지만 이 ‘불쾌감’은 클릭 수, 가입자 수, 페이지 뷰, 방문자 수 등을 통해 나타나지 않는다. 대부분은 직관으로 안다. 그냥 이러면 안 될 거 같은 감으로 안다. (하지만 설득력이 없으니 직간접적인 사례나 과거 경험을 얘기하고 굳이 수치로 나타내고 싶을 때는 따로 선호도 조사를 하거나 사용자 불러다가 인터뷰를 하거나 민원을 몇 건 수집한다.)
좀 더 공감할만한 실제 예를 들어 보자. 지금은 거의 없지만, 몇 년 전에는 곰플레이어나 네이트온 같은 무료 프로그램을 받으면 툴바나 보안 프로그램이나 기타 원하지 않는 프로그램이 줄줄이 함께 설치되었다. 플로우를 보면 너무나 의도적이었다. 필수 설치 플로그인 항목 중 맨 밑에 스크롤하면 그제야 보이는 곳에 불필요한 프로그램을 잔뜩 숨겨두고 디폴트로 체크해 두었다. 일반적으로 사람들이 프로그램을 설치할 때 다음, 다음, 다음, 버튼을 영혼 없이 누른다. 그 행동 패턴을 이용하여 원하지 않는 프로그램을 함께 설치하게 유도했다. 사용자의 ‘딥빡’을 유발하는 양아치 UX다.
하지만 데이터로 보면 다운로드 수는 폭발적이었을 거라고 추측한다. 한번 넣은 이후 빼기가 어려웠을 것이다. 빼면 다운로드 수치가 두려울 정도로 떨어질 테니까.
데이터 무용론을 얘기하려는 게 아니다. 데이터만 보면 함정에 빠질 수 있다는 얘기를 하고 싶다.
‘구매하기’ 버튼의 색상을 레드와 블루로 나누어 A/B 테스트를 돌렸더니 레드에서 구매 전환율이 10% 더 높았다고 해보자. 구매 전환율 외에 다른 부정적인 변수가 없었다고 판단되면 데이터 기반으로 의사결정 내리는 건 좋다.
그런데 처음 예로 들었던 것처럼 짜증을 유발하는 맥락과 관련 없는 팝업을 추가해서 데이터 상으로는 가입자 수가 늘어났다면, 데이터 기반으로 의사결정을 내리는 게 현명하지 않다는 얘기다. 비교군에 가입자 수 외 부정적인 변수가 생긴 것이다.
그렇다고 이럴 때 데이터를 보면 안 된다는 얘기도 아니다. 다른 부정적인 변수가 끼어들었을 때 신중한 판단이 필요하다. 부정적인 피드백을 감수하고서 강행할 것인지, 당장의 가입자 수보다 서비스의 호감도를 높이고 완성도를 높이는 일에 우선순위를 둘 것인지.
그냥 가입자/구매/클릭 수 늘었으니까 이렇게 가자라고 단편적인 결정을 내리는 걸 조심하자. 파급되는 결과를 생각하지 않고 내리는 너무 쉬운 결정이니까.
