brunch

매거진 리서처의 노트

라이킷 29 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Juwon Aug 07. 2021

사용자 경험(UX)을 위한 설문조사<2> 만족도평가

고객만족도를 맹신하지 마세요.

지난 <1>편에서 세계적인 경험디자인 전략가 에리카 홀은 왜 설문조사가 기업들이 생각하는 것만큼 정확하고 유용하지 않은지 명쾌하게 설명해주었는데요. 오늘 <2>편에서는 설문조사가 가장 많이 사용되는 주제인 고객만족도 (혹은 사용자 만족도, 소비자 만족도) 평가를 설계하고 해석할 때 자주 하기 쉬운 실수는 무엇인지, 무엇을 조심해야 하는지에 대해 구체적으로 알아보도록 하겠습니다.

다시보기: 사용자 경험을 위한 설문조사 <1> 설문조사의 늪

설문조사의 주제로 자주 등장하는 것이 바로 '사용자 만족도(satisfaction) 평가'다. 고객 충성도 측정 및 관리를 목적으로 기업들 가운데 가장 널리 사용되고 있는 평가지표다.¹

그러나 고객만족도 평가지표는 추상적이고 부정확하다. 미국 경영대학원 MIT 슬론이 발간하는 MIT 슬론 매니지먼트 리뷰(MIT Sloan Management Review)는 고객만족도의 변화와 주가 변화의 상관관계를 여러 산업군의 기업들을 통해 1년 간 추적하였는데, 그 결과 고객만족도가 기업의 제품군 소비점유율에 끼치는 영향은 1%도 채 되지 않는 것으로 나타났다. 1%는 통계상으로 유의미하나, 중대한 의미를 갖지는 않는다. 미국의 경영 잡지 블룸버그 비즈니스위크 (Bloomberg Businessweek) 또한 '고객지원부서 평가지표는 주식 수익률과 상관관계를 보이지 않는다... 수익률로 따지면 고객에게 가장 미움을 받는 기업들이 고객에게 사랑을 받은 기업들보다 더 우수하다.'라고 지적한 바 있다. 소비자 만족도가 중요한 경영지표 라기보다는 그저 측정할 때만 흐뭇해지는 수치임을 보여주는 증거들이 아닐까.

요즘에는 웹사이트 운영에 애매하고 필요 없을지도 모를 수치까지 측정해주는 비즈니스도 등장했다. 어느 디자이너가 얼마전 나에게 보낸 SOS 요청이다.

"제 직장 상사는 소프트웨어 포시(Foresee, 웹 어플리케이션의 소비자 경험 관련 지표를 추적 및 측정해주는 서비스)에 완전 빠졌어요. 처음에는 매우 회의적이었다고 하는데, 아무래도 상당히 분석적인 사람이다 보니까 수치화 할 수 없는 데이터들도 수치화 시켜 줄 수 있다는 말에 넘어간 모양이에요. '사용자 만족도' 같은 데이터 말이죠."

직장상사가 '상당히 분석적'이라는 표현은 정량적(quantitative) 데이터를 우선시하는 경향을 돌려 말한 셈이다. 디자이너는 자신의 회사가 소프트웨어 포시를 이용해 사용자 경험 설문조사를 팝업창으로 띄워, 정작 그들이 개선하고자 하는 사용자 경험을 망쳐버릴까 걱정하고 있었다.

번역노트: 고객만족도평가의 우수한지표를 홈페이지에 대대적으로 광고하는 신용카드회사 아메리칸익스프레스

고객만족도 평가는 이제 하나의 서비스 산업군이 되었다. 평가지표를 존속시키는 자체로 돈을 버는 업계가 있다는 사실만으로도 그 존재의 정당성을 의심해볼만하지 않은가. 소비자의 입장으로 따져봐도 나는 고객만족도 평가가 상당한 지면낭비라고 생각한다.

다음은 포시에서 AT&T 웹사이트에 설치한 고객만족도 설문조사의 한 장면이다. (참고로 위에 언급한 디자이너의 회사는 아니다.) 고객들에게 물어보면 좋을 것 같아서, 최고의 경험을 제공하는 데 도움이 될 것 같아서 넣었다는 질문들이 다음과 같다.

(10점 척도 평가: 1=형편없음 10=완벽함)

1. 이 웹사이트가 얼마나 잘 정리되어 있는지 평가해주세요.

2. 이 웹사이트를 살펴보기 위해 제공된 선택 사항들을 평가해주세요.

3. 이 웹사이트의 레이아웃이 당신이 찾고자 하는 것을 찾도록 돕는데 얼만큼 도움이 되었는지 평가해주세요.

4. 이 웹사이트에서 당신이 찾고자 하는 것을 찾을 때까지 클릭한 횟수에 대해서 평가해주세요.

5. 이 웹사이트의 시각적 매력에 대해서 평가해주세요.

6. 이 웹사이트의 그림과 문자의 균형감에 대해 평가해주세요.

7. 이 웹사이트의 페이지 가독성에 대해 평가해주세요.

8. 이 웹사이트의 정보의 정확성에 대해 평가해주세요.

9. 이 웹사이트의 정보의 질에 대해 평가해주세요.

무슨 소리인지 이해가 가시는가?

'웹사이트를 살펴보기 위해 제공 받은 선택사항들을 평가'하라는게 무슨 말인가? 이 질문이 도대체 어떤 실무적 지표와 연결될 수 있겠는가? 10점 만점 기준으로 클릭 횟수를 평가 하라고? 나라면 못할것 같다. 내가 보기엔 이 질문의 많은 응답자들이 착각으로 평가 점수가 아니라 실제 클릭한 횟수를 입력할 것 같다.

그리고, '정보의 정확성'을 평가하라니? 웹사이트 사용자가 신도 아닌데 어찌 정보의 정확성을 알고 평가할 수 있을까? 정보의 정확성 평가 7점을 받았다면 그것을 어떻게 해석할 수 있을까? 여기 어떤 질문도 왜 이 웹사이트가 존재하는지, 어떻게 사람들이 실제로 사고하고 결정을 내리는지 반영하지 않는다.

여기서 가장 중요하게 집고 넘어가야 할 점은 이 조사지가 질적인 면(qualitative)에 관한 질문들을 양적 연구의 양식(quantitative style)에 끼워 맞췄다는 점이다. 당신이 수치화 할 수 없는 데이터들을 셈해보는 동안, 당신에게 이 설문조사지를 판매한 사람들은 당신에게 받은 돈을 열심히 세고 있을 것이다. 마치 존재하지도 않는 플로지스톤(번역노트: 산소를 발견하기 전까지 가연물 속에 존재한다고 믿어졌던 것)을 가지고 구리를 금으로 바꾸려고 했던 연금술사 수준의 속임수 아니겠는가.

고객에 대한 배려 없이 서비스를 형편없게 운영하라는 말이 아니다. 훌륭한 상품과 서비스를 만들어 내기 위해서는 어떤 것들을 측정하고 평가해야 하는지 알 수 있어야 한다고 권고하고 싶었다.

우리 모두가 고객 충성도를 있는 그대로 볼 수 있으면 좋겠다. 그 말인즉슨, 고객 충성도를 '습관'의 측면에서 이해해야 한다는 것이다. 성공적으로 충성도를 쌓기 위해서는, 고객의 습관적 행동에 영향을 줄만한 요소들을 측정해야 한다.

설문조사 질문 작성시 주의할 사항

연구 방법으로 설문조사를 고려하고 있다면 먼저 다음 질문에 스스로 답해보라.

"나의 설문조사 응답자들이 이 질문에 진실되게 대답할 의지와 능력이 있을까?"

무엇을 좋아하거나 좋아하지 않는지 질문하지 말라.

내가 늘 강조하고 또 강조하는 사항이다. 선호 여부는 그저 마음 상태를 묘사한 것일 뿐 그것이 특정 행동으로 연결된다는 보장이 없다.

몇일 이상으로 오래된 기억에 관해 물어보지 말라.

사람은 망각의 동물이다. 유명한 범죄 다큐멘터리 팟캐스트 씨리얼에서 20여 년 전 과거를 각기 달리 회상하는 사건 주변인들을 통해 우리는 그 사실을 배우지 않았던가. 너무 오래 전에 일어난 일을 물어보면, 유용하고 진실된 답변을 듣기 어렵다.

(번역노트: Serial, 미국 볼티모어에서 20여 년 전에 실종된 재미교포 이해민양과 그녀의 살인용의자로 체포되어 오늘날까지 수감중인 그녀의 남자친구 아드난 사이드를 둘러싼 주변인들의 인터뷰로 구성된 팟캐스트 시리즈. 20년 전의 일에 대한 증인들의 회상 내용이 제각기 달라 오늘날까지도 아드난의 결백여부가 미스터리로 남은 사건이다)

미래의 자신의 행동을 예측해보라는 질문도 피하라.

사람들은 사회적으로 바람직해 보일 만한 답변이나 자신의 희망사항을 바탕으로 예측을 하려 할 것이다. 설문조사에서 자주 등장하는 아래의 질문이 대표적인 예이다:

"저희가 판매하는 이 제품을 6개월 이내에 구매하실 확률이 얼마나 될까요?"

아무도 진실되게 대답할 수 없는 문제다. 기껏해야 1)아마도요 혹은 2)전혀요 이 정도의 답변만 들을 수 있을 것이다.

번역노트: 거짓말, 헛소리, 딴소리의 빈도수 풍자그래프

무엇을 수치화 하고자 하는 것인지 분명히 설정해라.

이렇게 주의해야 할 사항이 많은데도, '설문조사가 수치화하기 좋으니 위대하다' 라고 선뜻 말할 수 있을까? 그렇게 생각하는 스스로에게 물어봐야 한다. '나는 도대체 무엇을 수치화 하려는 것일까?' 그것이 수량이나 빈도와 같이 정말로 셈할 수 있는 대상인가? 아니면 용이함, 매력, 적절함과 같은 은근한 성질들을 수치화 할 수 있는 것처럼 넘겨버리려고 하는 것인가?

어떤 종류의 결정이건, 그 결정에 도움이 될만한 정보를 모을 때 가장 먼저 해야 할 일은 무엇이 '성공적인 결과'인지 정의하는 것이다. 여러 숫자만 잔뜩 쥔채로는 무엇을 성공적인 결과로 부를 수 있을지 알아낼 수 없다.

유용하고 진실된 설문조사 결과를 얻기 위한 고려사항

먼저 내가 무엇을 알고자 하는지, 왜 설문조사가 가장 적합한 방법인지를 분명하게 설명할 수 있어야 한다. 그래야 알아듣기 쉬운 설문조사 질문지를 작성할 수 있다.

질적 정보를 구할 목적으로 설문조사를 고려하고 있다면, 그로 얻을 수 있는 데이터는 맥락없이 만들어진 얄팍한 답변이라는 사실을 분명히 염두해야 한다. 이 방법으로는 제출된 답변 뒤에 숨은 "이유 (왜냐하면...)"에 대해 면밀히 파고드는 것이 불가능하기 때문이다.

만약 정량적 데이터의 수집을 위해 설문조사를 설계하고 있다면 응답자들이 제대로 셈 할 수 있을만한 것만 질문하자. 내가 어떤 종류의 데이터를 수집하려고 하는지 진솔하게 표현하기 힘들다면, 설문조사를 할 생각은 접자.

그리고 부디 그 괴상한 10점 만점 척도를 피하길 바란다. 그 척도는 현실세계를 제대로 반영하지 못한다.

설문조사 설계 방법론은 책 한 권, 혹은 석사 과정 만큼의 방대한 분량이다. 이 글은 여러분들에게 다음과 같은 다짐을 받는 것만으로도 성공이다: 중요한 의사결정을 내리려고 한다면, 설문조사 과정에 대해 안일하게 생각해선 안되겠군.

"근본적으로, 모든 경영은 사람들의 행동에 내기를 거는 일이나 마찬가지다."
월스트리트저널, "두꺼운 데이터"의 힘

애초에 우리가 정보를 수집하는 수고를 거치면서 의사결정을 내리는 이유는 우리의 결정이 궁극적으로 주목할만한 성과를 낼 수 있기를 바라기 때문이다.

관찰된 행동을 통해 얻어진 통찰을 바탕으로 내기를 거는 것이 형편없는 설문조사지를 바탕으로 내기를 거는 것보다 훨씬 더 효과적이다. 그러니 앞으론, 여러분들의 데이터 수집에 있어 조금 더 주의를 기울이길 바란다. 가장 측정하기 쉬운 데이터라고 해서 가장 유용한 것은 아니니까.

1. L. Aksoy, “How Do You Measure What You Can’t Define? The Current State of Loyalty Measurement and Management,” Journal of Service Management 24, no. 4 (2013): 356-381; and V.A. Zeithaml, R.N. Bolton, J. Deighton, T.L. Keiningham, K.N. Lemon and J.A. Petersen, “Forward-Looking Focus: Can Firms Have Adaptive Foresight?” Journal of Service Research 9, no. 2 (2006): 168-183.