by
Jun 11. 2023
정성 리서치가 신뢰를 얻기 어려운 이유
00님, 인터뷰 너~무 재밌어요. 그런데 이건 데이터가 아니잖아요.
숫자가 제일 센 놈
아무리 설득력 있는 리서치 결과가 나와도 숫자가 덧붙여지지 않으면 ‘그냥 그렇구나’ 라며 넘어가기 일쑤다. ‘영감’이 되지만 ‘행동’으로 이어지지 못한다. 리서처는 한탄한다. ‘아니, 이럴 거면 힘들게 리서치하는 대신 (리서치 결론과 결이 같은) 아티클 하나를 던져주고 말 걸’
반대로, 제 아무리 높은 직급의 사람의 의견도 숫자가 덧씌워지면 한 방에 엎어버릴 수 있다. “말씀하신 고객군은 전체 몇% 밖에 되지 않습니다.” 라며 잠재적 고객의 크기를 축소하거나 “00 버튼을 누를 때 기분이 나쁘다는 고객이 있지만 실제로 전환율에 도움이 되고 있으니 기획을 철회할 수 없습니다.” 라며 다크패턴도 유지할 수 있다.
정성적인 리서치가 신뢰를 얻기 어려운 이유
말장난 하나 하자면, 엄밀하게 데이터의 정의는 다음과 같다.
'어떠한 이론, 근거를 세우는 데 필요한 사실'
그러니까 우리가 정성적인 사실, 정량적인 사실(흔히들 데이터라고 부르는) 모두 데이터가 맞다. 흔한 실수는 정량 데이터를 ‘객관적’ 혹은 ‘사실적’인 데이터고, 정성 데이터를 ‘주관적’이고 ‘경험적’이라고 생각하는 것이다. 그러나 정성 데이터도 ‘사실적’인 데이터가 될 수 있고 정량 데이터도 ‘주관적’인 데이터가 될 수 있다. 경우를 나눠보면 다음과 같다.
정성 데이터
주관적 경험 : 인터뷰에서 얻은 사람들의 이야기, 그들이 쓰는 어휘나 단어
객관적 경험 : 사람들이 실제로 인터뷰에서 한 행동, 촬영한 모습
정량 데이터
주관적 : 인지 경험이 측정된 정량 데이터 NPS (고객 추천 지수) / 고객 만족도 등
행동을 관찰한 데이터 : 특정 행동을 한 고객 비율, 디바이스 비율
고객 중심으로 일하라고 말하고 듣고, 우리들은 고객을 계속해서 만난다. 그런데 그렇게 힘들게 얻어낸 고객의 말과 이야기, 즉 정성적인 리서치는 결과는 ‘데이터’ 취급을 받지 못하는 것일까?
1) 정량적인 데이터가 더 ‘객관적’ 이니까
첫 번째는 '정량적인 데이터는 더 '우수하고 객관적'이라는 오해 때문이다. 로그 데이터라 할지라도 결국 수집 방식과 수집하는 관점은 사람이 하기 때문에 집단의 관점이 들어갈 수밖에 없다. 도로에 구덩이를 없애기 위해 차량의 GPS데이터를 분석해서 도로를 수리했으나, 비싼 차를 살 수 없는 빈민가의 도로는 전혀 수리되지 못했다는 사례가 이를 잘 말해준다.
설문조사 방식(질문하는 방식이나 진입 방식)을 조금 바꾸는 트릭으로 고객 만족도를 높이거나 낮출 수 있다. 그럼에도 오늘날 우리 UX리서처들은 어떻게든 ‘정량적인’ 근거를 보태보려고 끝난 리서치에 설문조사를 덧붙이고 결과를 분석하느라 많은 시간을 할애하고 있다. 이것이 무의미하다는 것이 아니라 필요 이상으로 수행되는 경우가 왕왕 있음은 부인할 수 없다.
대표적인 예가 고객충성지수, NPS(Net Promoter Score) 설문조사인데, 우리 서비스를 다른 사람에게 얼마나 추천할 의향이 있는지 조사함으로써 제품의 성공 가능성과 매력도를 판단하기 위해 쓰인다. 그러나 서비스에 대해 너무 많은 것을 함축해 버리며(추천할 건지 말건지), 인지(Perception)로부터 실제 행동을 추측하는 정확도가 떨어지기 때문에 비판을 받는다.
전 세계적으로 20억 명이 넘게 쓰는 Google Drive는 NPS지수가 50점이다. 참고로 IT/Software 평균은 58점. 참고로 펩시는 20점밖에 되지 않으며, 넷플릭스는 고작 13점이다. 심지어, 이 위상을 숭배하는 것에 지쳐버린 Qunatiative Researcher들이 “NPS를 근절하자” 며 https://www.npsistheworst.com/ 같은 웹사이트를 만들기도 했다.
2) 정성적인 리서치에 대한 대대적인 오해.
정성(Qualitative) 리서치와 정량 리서치(Quantitative) 리서치를 ‘데이터의 형태’로 구분 지어버리기 때문이다. 그러니까 적은 수의 주관적인 데이터를 다루면 정성 리서치고 많은 수의 데이터를 다루면 정량 리서치라고 말하는 것이다. 이것은 반은 맞고 반은 틀렸다.
두 리서치의 가장 큰 차이는 데이터의 형태보다는 다루는 방식(Approach)에 있다. 정량 리서치는 객관주의(Objectivism)로, 단순히 많은 수의 데이터를 다루는 것뿐 아니라 데이터 자체를 연역적 추론(Deductive Reasoning)을 위해 다룬다. 일반적이고 당연한 원리로부터 구체적인 사실을 추출해 내는 것이기 때문에 결론 자체도 이의제기의 가능성이 적고, 설명이 명쾌하다.
정량 리서치를 통해 우리 서비스를 이용하는 고객이 연령대별로 어떻게 나누어졌는지, 각 연령대별로 구매 패턴은 어떤지 깔끔하게 설명할 수 있다. 예를 들면 미국의 월마트는 고객이 장바구니에 담은 상품군을 분석해 ‘기저귀를 구매하는 고객은 맥주를 사는 고객일 확률이 높다'는 사실을 알아냈다.
그런데, 기저귀랑 맥주랑 무슨 상관이란 말인가.
이럴 때 정성 리서치, 즉 구성주의 (Constructivism)에 입각한 스토리텔링이 필요하다. 정성 리서치는 정량 리서치와 다르게 귀납적인 추론(Inductive Reasoning)을 즐긴다. 경험으로부터 관찰한 사실에서 보편적인 원리를 이끌어낸다. 기저귀와 맥주를 동시에 구매한 고객들을 만나본 후, 훌륭한 리서처라면 다음과 같은 이야기를 알아냈을 것이다.
아이를 돌보느라 지친 오후, 아내는 아이를 보는 자신 대신에 월마트에 장 보러 남편에게 연락한다. “기저귀가 다 떨어져 가니 좀 사 와” 그리고 남편은 기저귀를 하나 집어 들고, 퇴근 후 시원하게 들이켤 맥주가 생각난다. 곧장 맥주 코너를 찾는다.
정성 리서치는 수집한 데이터에 맥락과 살을 붙여 하나의 이야기를 만들어 이해관계자를 설득한다. 단순히 맥주와 기저귀를 붙여놓는 것만으로도 매출을 높일 수 있겠지만 이러한 ‘이야기’는 고객에 대해 더 많은 것을 알려주며 장기적으로 더 높은 수준의 비즈니스 기회를 창출할 수 있다.
아내가 남편에게 ‘장보기 리스트’를 준다는 사실.
단순히 기저귀와 맥주뿐 아니라 기저귀를 포함한 신혼 상품과 ‘남편에게 필요한 물건’을 한 군데 묶어 시너지를 기대해 볼 수 있다는 사실
정성 리서처는 데이터로부터 ‘주관적’인 해석을 하게 된다. 이유는 단순하다. 하나의 데이터는 여러 개의 이야기를 만들기 때문이다. (맥주와 기저귀 사례는 전혀 다른 방식으로 해석될 수도 있었을 것이다.) 정성 리서처는 뛰어난 스토리텔러이자 동시에 중재가가 되어야 한다. 이해관계자들이 '이 사실'을 받아들이게 하려고 강요하는 것이 아니라 양질의 데이터를 그들에게 던져주고 '우리가 같은 그림을 보도록' 함께 이야기를 만들어나간다. 장기적 관점에서 우리가 고객에 대해 배우고 이해한 것이 '오래갈 수 있도록' 하는 가장 좋은 방법이다.
비극은 항상 반대로 접근할 때 일어난다. 정성 리서치를 진행해놓고는 '귀납적 접근방법을 택한다거나' (5명 UT를 통해 4명이 동일한 문제를 겪었다고 해서 더 중요한 문제라고 판단해버리거나) 반대로 정량 리서치를 진행해놓고 '연역적 접근방법을 택하는 경우' (단순 통계적으로 분류해놓은 고객군에서 떠오른 가설을 정성적인 데이터를 뒷받침하지 않고 사실이라고 믿어버리는 경우) 말이다.
1% 고객에게도 리소스를 투자할 수 있을까?
가령 일반적인 커머스 시장에서 “신발 덕후”를 타겟팅 해서 마케팅과 제품 개발 리소스를 투자한다는 의사결정을 어떻게 할 수 있을까? 전체 고객군 중에서 “신발 덕후”는 극소수이며, 그들이 차지하는 매출도 전체에서 미미하다. 그러니 이들에게 투자한다는 아이디어는 ‘바보 같은 생각’에서 멈추는 것이 현명할지 모른다. 그러나 패션, 주거, 식사, 의료 서비스를 분야를 불문하고 개인화와 다양성에 대한 니즈는 점차 커지고 있으며 ‘덕후’ 들의 구매력이 무시할 수 없는 세상이 온다는 것을 알고 있다면 어떨까?
나이키는 여성 스포츠 시장을 공략하기 위해 운동화로 자신을 꾸미는 것을 좋아하는 ‘알렉스'라는 페르소나를 만들고 스타일리시 한 운동복 추천과 친구들에게 공유할 수 있는 경험을 구축했다. 이러한 전략을 통해 나이키플러스 멤버십 사용자를 2018년부터 3배나 증가시킬 수 있었다. 우리나라에서는 ‘크림’, ‘솔드아웃’ 을 필두로 한 리셀테크'(리셀+재테크) 시장 올해 1조 원 규모를 넘어설 전망이라 한다. 과거와는 비교할 수 없을 정도다.
