유저를 믿지 마세요
VOC라는 달콤한 함정
"유저가 원한대요."
이 한마디면 회의실이 정리된다. 반론은 사라지고, 우선순위는 올라가고, 작업 티켓이 생긴다.
VOC Voice of Customer, 유저의 의견은 실무에서 가장 강력한 카드다.
유저가 직접 말한 건데 뭘 더 따질 수 있을까?
런칭 초기에는 유저 의견이 오아시스처럼 느껴지기도 한다. 출시까지의 고난을 겪고 나면, 유저 의견이 있다는 것만으로도 보상처럼 느껴진다. 갈증을 해소시켜주는 이 물은 계속 마셔도 끝이 없다.
유저 의견은 끝없이 쏟아지고, 이상하게 이를 마실수록 바닷물처럼 목이 말라간다.
디자이너는 태생적으로 유저의 편에 서도록 훈련받는다.
우리의 모든 감각과 초점을 유저에 맞추게 하고, 유저에게 빙의되게 만든다.
"유저가 원합니다"라는 말은 비수가 되어 날아온다. 맞지 않다고 생각하더라도 "유저 말을 무시하자는 거냐?" 이 프레임에 갇히는 순간, 논쟁은 끝이다.
오늘도 어느 마음 여린 디자이너는 유저의 편에 선다는 믿음으로 VOC를 개선하고 있을 것이다.
그 VOC가 누구의 목소리인지도 모른 채
우리는 살아남은 유저만 본다
2차 세계대전 당시, 미군은 무사히 생존해 돌아온 전투기들의 총탄 구멍을 분석했다.
여기서 잠깐. 이 이미지를 보고 어떤 부분을 강화해야 할지 생각해 보자.
Survivorship bias (Cameron Moll, 2005) - wikipiedia미군은 날개와 동체에 집중된 구멍들을 보면서 그 부분을 강화하려 했다. 이때, 한 통계학자가 이를 반대했다.
"돌아온 폭격기는 그 부분에 맞아도 살아남은 것이잖아요."
진짜 취약한 부위는 구멍이 없는 곳이었다. 거기에 맞은 비행기는 돌아오지 못했으니까.
살아남은 것만 관찰하고, 사라진 것을 무시하는 오류. 이것을 생존자 편향 Survivorship Bias이라고 부른다.
VOC도 같은 구조다. 유저 피드백을 남길 만큼 애정을 갖기도 전에 이탈한 유저들, 즉 살아남지 못한 사람들의 의견은 들을 수 없다. 이미 떠난 유저, 처음부터 오지 않은 유저는 어떤 기록도 남기지 않는다.
우리가 본능적으로 유저에게 집중하는 이 감각을 잘못 사용하고 있을지 모른다. 어차피 강인하게 살아남을 유저들을 보면서, 아픈 부분이 아닌 이미 충분한 부분을 덧대고 있을지 모른다.
VOC보다 더 중요한 데이터는 들리지 않는 목소리일 수 있다. VOC만으로는 이탈이 일어나는 진짜 원인을 개선할 수 없다.
생존자 편향 Survivorship Bias
살아남은 것만 관찰하고, 사라진 것을 무시하는 오류
VOC는 유저의 99%를 가린다
레딧 유저의 약 98%는 글을 쓰거나 댓글을 달지 않는다고 한다. 온라인에서 목소리를 내는 것은 언제나 소수의 행위다. VOC도 다르지 않다. 전체의 1%, 간헐적으로 반응하는 사람이 9%, 나머지 90%는 읽기만 하고 아무것도 하지 않는다는 패턴이다.
우리가 VOC라고 부르는 것은 그 1%의 목소리다. 그것도 그 1% 안에서, 불만족한 사람이 만족한 사람보다 훨씬 더 적극적으로 말한다.
Hu, Pavlou & Zhang (2009). Overcoming the J-Shaped Distribution of Product Reviews실제 연구에서 나온 온라인 리뷰의 분포 그래프를 보면, 5점 리뷰가 대부분이고 1점 리뷰가 일부 있으며, 중간 점수 리뷰는 거의 없다.
같은 제품에 대해 모든 사람이 리뷰를 남기게 하면 중간 3점을 중심으로 정규분포가 이루어진다. 이는 의견이 수집되는 방식 자체가 데이터를 왜곡한다는 것을 보여준다.
결국 우리는 전체 유저 중 극소수의, 극도로 감정적인 목소리를 수집하고 "유저"라는 대표성을 부여하고 있다.
식당에서 시끄럽게 떼쓰는 사람에게 서비스가 나오고, 조용히 있는 사람에게는 아무 일도 일어나지 않는다. 화를 내는 사람의 이야기를 먼저 들어줄수록, 화를 내는 사람이 많아진다고 한다. VOC를 개선해주는 것이 유저의 입장을 대변한다고 착각할 때, 우리는 가장 시끄러운 소수의 편에 서는 것일지도 모른다.
사람들에게 무엇을 원하냐고 물었다면,
더 빠른 말을 원한다고 했을 것이다.
유저는 미래를 볼 수 없다
포드 모터의 창업주가 말했다고 전해지는 인용구가 있다. 실제로 그가 한 말인지는 확인되지 않았다지만, 이 말은 유저 리서치의 본질적인 한계를 정확히 짚는다.
스마트폰이 나오기 전, 아무도 스마트폰을 원한다고 말할 수 없다.
블랙베리 유저들은 물리 키보드가 사라지는 것에 격렬하게 반대했다. 그 VOC가 틀린 것은 아니다. 당시의 터치스크린 경험이 불편했던 것이고, 키보드가 없어진 자리에서 창출되는 더 큰 가치는 떠올릴 수 없는 것이었다.
이것이 디자이너가 VOC에 기대서는 안 되는 가장 근본적인 이유다. VOC는 현재만을 말한다. 디자이너가, 기획자가 존재하는 이유는 미래를 제시함에 있지 않을까.
유저는 스스로를 모른다
스타트업과 주니어 디자이너가 가장 자주 저지르는 실수 중 하나는 설문조사로 "이런 기능이 있으면 좋겠냐"고 묻는 것이다. 사람들은 누구나 쉽게 "좋겠다"고 한다. 그리고 출시하면 사람들은 냉정하게도 쓰지 않는다.
글로벌 대기업도 이런 실수를 한다. 맥도날드가 밀크쉐이크 판매를 늘리려 설문했을 때, 유저들은 "더 달콤하게, 더 진하게"라고 답했다. 그렇게 만들었지만 판매는 늘지 않았다. 실제 관찰 결과, 아침 밀크쉐이크 구매자들의 진짜 니즈는 맛이 아니었다. 그저 지루한 출근길에 한 손으로 들고 마실 무언가가 필요했던 것이다.
고객은 설문에서 "가격이 가장 중요하다"고 답하고, 실제로는 브랜드에 끌려서 구매한다. 사람이 말로 표현하는 선호와 행동으로 드러내는 선호는 일치하지 않는다. 유저가 무엇을 원한다고 말하는지는 알 수 있지만, 실제로 어떻게 행동할지는 보장하지 않는다.
VOC는 본질적으로 표명 선호의 한계를 가진다.
표명 선호 Stated Preference & 현시 선호 Revealed Preference
경제학자 새뮤얼슨이 제시한 소비자 이론, 말로 표명한 선호와 행동으로 드러내는 선호가 일치하지 않는다는 개념
유저는 거짓말을 한다
"검색 필터를 추가해주세요." 유저가 이렇게 요청한다. 하지만 진짜 문제는 원하는 걸 찾지 못하는 것이다. 필터는 유저가 떠올린 해결책이지, 문제 자체가 아니다. 이 요청을 그대로 받아서 필터를 만들면, 정작 문제는 풀리지 않을 수 있다. 검색 알고리즘이 문제였을 수도 있고, 카테고리 구조가 문제였을 수도 있으니까.
더 깊은 문제도 있다. 유저는 자기가 왜 불편한지도 정확히 모르면서 거짓을 말한다. 심리학자 니스벳과 윌슨(Nisbett & Wilson)의 1977년 실험에서 피험자들에게 동일한 스타킹 네 켤레를 보여주고 가장 좋은 것을 고르게 했다. 네 개가 완전히 같은 제품이었는데도 사람들은 특정한 하나를 골랐고, 왜 그것을 골랐는지 자신 있게 설명했다. 촉감이 더 좋아서, 색이 더 선명해서. 전부 사후적으로 만들어낸 이유였다.
네 개는 완전히 같은 제품오른쪽일수록 선택률이 올라감
피험자들은 총 80가지 서로 다른 이유를 댔다. 그중 단 한 명도 위치를 언급하지 않았다.
위치가 영향을 미쳤을 수 있느냐고 직접 물었을 때도, 단 한 명만이 가능성을 인정했다.
사람은 "왜 그렇게 했는지"를 물으면 자신 있게 답한다. 하지만 그 답은 실제 원인이 아니라, 그럴듯한 이유를 만들어낸다. "이 기능이 불편해요"라는 피드백 뒤에 유저가 덧붙이는 "버튼 위치가 이상해서", "색이 안 눈에 띄어서"도 마찬가지다. 불편함을 느낀 뒤에 스스로 구성한 설명이지, 진짜 원인을 말하는 것이 아니다.
유저는 스스로를 잘 모른다. 자신의 언어로 표현할 뿐이다. 그것은 유저의 잘못이 아니다.
사후 합리화 Post-hoc Rationalization
인식되지 않는 동기에 대해 이유를 만들어내는 인지적 경향
VOC를 믿은 게 아니라, 믿고 싶었던 것이다
VOC는 참 편리하다. 리서치를 설계하지 않아도, 유저를 만나지 않아도, 이미 도착해 있다. 관찰 조사, 맥락 인터뷰, 실험 설계, 데이터 분석... 시간과 리소스가 부족해지면 다 버리고 VOC만 봐도 되니까.
VOC는 힘이 들지 않는다. "유저가 원한대요." 이 한마디면 설득이 된다. 내 논리를 세우지 않아도 된다. 힘쓰지 않아도 된다. 내 판단을 증명하지 않아도 된다. 실패해도, 안전하기까지 하다.
문제는 그 다음이다. 어느 순간부터 VOC는 증거가 아니라 방패가 된다.
나에게 유리한 유저의 목소리만 꺼내 들게 된다.
이 글을 쓰면서 나 자신에게 질문을 던져본다.
유저의 이름을 빌려, 내가 하고 싶은 것을 정당화한 적이 몇 번이나 있었을까.
참고
생존자 편향,《A Method of Estimating Plane Survivability Lacking Controls on Weapons Effect》, Abraham Wald (1943)
생존자 편향의 비행기도식, Cameron Moll (2005)
온라인 리뷰의 J커브, Hu, N., Pavlou, P. A., & Zhang, J. (2009). Overcoming the J-Shaped Distribution of Product Reviews
맥도날드 밀크 쉐이크 사례, Jobs to be Done, Christensen, C. M., Cook, S., & Hall, T. (2005). Marketing Malpractice: The Cause and the Cure.
표명 선호 & Samuelson, P. A. (1948). Consumption Theory in Terms of Revealed Preference.
사후 합리화, Nisbett, R. E., & Wilson, T. D. (1977). Telling more than we can know: Verbal reports on mental processes.