brunch

매거진 리서처의 노트

라이킷 34 댓글 1

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Juwon Aug 04. 2021

사용자 경험(UX)을 위한 설문조사<1> 설문조사의 늪

디자인리서치 전략가 에리카 홀이 말하는 설문조사를 하지 말아야 할 이유

이제와 고백하건대, UX(User Experience, 사용자경험) 리서처로 일하는 동안 저를 가장 힘들게 한 사람들은 UX리서치에 회의적이거나 적대적인 동료들이 아니라, UX리서치라는 이름으로 설문조사(survey)를 강요하는 이해관계자들이었어요. 빠른 속도를 중시하고 양적 데이터가 신이 되는 테크업계에서 설문조사는 완벽한 사용자 연구방법처럼 보이기 마련이죠. 대규모의 답변을 빠르게 받고 통계적으로 분석할 수 있으니까요. UX를 낯설어하는 이해관계자들은 설문조사가 이미 마케팅, 제품개발, 고객지원 부서 등 다양한 분서에서 활용되어왔기 때문에 그저 조금 더 익숙하다는 이유로 설문조사를 고집하기도 하구요.

속도의 압박과 UX에 대한 이해 및 지원이 부족한 조직 환경에서 디자이너와 리서처들은 설문조사의 늪에 빠지곤 합니다. 이 때 우리는 논리와 방법론을 바탕으로 설문조사를 하라는 제안에 강력히 반대를 표명하거나, 아니면 이해관계자들과 타협하는 느낌으로 설문조사를 꾸역꾸역 하게 되는데, 그 어느 길로도 이 늪에서 빠져나오기 쉽진 않은게 사실입니다.

그래서 사용자경험 커뮤니티에서 누구보다 강력한 목소리로 설문조사에 반기를 드는 에리카 홀(Erika Hall)의 존재는 저에게 큰 힘이 되었습니다. 지난 20여년 간 수많은 기업들의 디자인 컨설팅을 도운 디자인 전략가로서 그녀는 설문조사의 까다로운 뉘앙스와 빠지기 쉬운 함정과 간과하기 쉬운 약점들에 대해 날카롭게 비판하고 있습니다. 에리카 홀의 동의 하에 그녀가 미디엄에 공유했던 글조각들을 앞으로 번역해 연재해보겠습니다.

사용자 설문조사는 가장 위험한 리서치 수단이다. 흔히 설문조사는 질적(qualitative) 연구 방법과 양적(quantitative) 연구 방법의 특성을 모두 아우르곤 하는데, 설문조사를 제대로 이해하지 못하였거나 부적절하게 사용하면 최악의 경우에는 두 연구 방법 각각이 가진 취약점까지 조사과정 및 결과에 함께 드러나 버릴 수 있기 때문이다.

어떤 위험한 물건이 그 위험성을 평가할 능력을 갖추지 못한 사람들을 현혹시키는 상황을 불법행위법에서는 '유인적 위험물(attractive nuisance)'이라는 법리로 설명한다. 디자인 리서치의 세계에서 설문조사는 유인적 위험물이나 마찬가지다.

쉽기 때문에 진짜같이 느껴질 때

설문조사가 위험한 이유는 설문조사를 실시하는 것이 너무나 쉽기 때문이다. 설문조사지를 작성하는 것, 배포하는 것, 조사 결과를 추리는 것 모두 참 쉽다. 이처럼 수월하게 가공되고 처리된 정보일 수록 우리의 어리석은 두뇌는 그것을 진리에 가깝다고 여기게 된다. 인지편향(cognitive bias)이 발생하는 것이다. 다시 말해, 부정할 수 없을 정도로 용이한 설문조사의 연구방식이 정작 그 데이터가 내포할 수 있는 오해의 소지나 허구의 여부와 상관없이 결과물을 타당한 진실처럼 보이게 만드는 것이다.

지금도 수많은 중요한 결정들이 설문조사를 바탕으로 내려지고 있다. 선택을 해야할 순간에 직면하거나 서로 전혀 다른 의견들을 취합해야 할 때, 설문조사는 합의에 이르거나 함께 나아갈 길을 모색하는 (그리고 결과의 책임도 회피할 수 있는) 가장 효율적인 방안처럼 느껴지기 마련이다. 이런 식이다. 어떤 기능을 다음에 만들어야 할까? '우리 마음대로 결정할 수 있는 문제가 아니야, 그러니 설문조사를 돌려보자.' 제품의 이름을 뭐라고 지어야 할까? '우리 마음대로 결정할 수 있는 문제가 아니야, 설문조사 해보자.'

쉽기 때문에 옳다고 느껴질 때

설문조사의 용이함에는 또 다른 문제가 있다. 다른 연구 방법들이 상대적으로 더 어려워 보이면 배척된다는 점이다. "사람들이랑 직접 대화를 하고 그 대화내용을 분석해보겠다고? 시간만 잡아먹고 데이터도 지저분하고 이해하기 쉽지 않을 것 같은데. 굳이 사람들 만날 필요가 뭐 있어. 질문들을 잘 취합해서 수천 명의 사람들에게 한꺼번에 보내버리면 수치화 할 수 있는 대답을 얻을 수 있잖아. 훨씬 쉽지!"

실은 괜찮은 사용자 질적 연구(qualitative user research)를 진행하는 것보다 괜찮은 설문조사를 고안하는 것이 훨씬 더 어렵다. 사용자 질적 연구에서는 사용자 집단을 충분히 대표할 만한 참여자 한 명만 확보하면, 녹음기를 작동시키고 가만히 앉아서 참여자의 이야기를 듣는 것만으로도 좋은 데이터를 얻을 수 있다. (물론 적합한 참여자를 확보하는 심사 과정(screening process)을 거쳤다는 가정 하에서 말이다.) 그러나 설문조사에서는 만약 질이 낮은 질문들을 작성했다면 결국 방대한 양의 질이 나쁜 데이터만 수집하게 된다. 그 때는 이미 돌이킬 수도 없다. 이러한 이유로 나는 『Just Enough Research (번역서: 꼭 필요한 리서치)』 의 초간본에서 설문조사에 관한 내용을 완전히 배제했었다.

그렇다면 어떻게 설문조사가 잘못 되었음을 알 수 있을까? 설문조사로 얻은 데이터가 본인의 의사 결정에 실질적 도움을 주지 못하거나 현실 상황을 반영하고 있지 못하다면 그 설문조사는 잘못 만들어졌다고 보아야 한다. 원인은 다음과 같을 수 있다:

1. 설문조사 참여자가 진실된 대답을 제공하지 않았다

2. 질문들이 참여자가 진실된 답변을 하기 불가능한 방향으로 작성되었다.

3. 애초 질문 자체가 내가 얻고자 했던 정보와 부합하지 않았다.

4. 질문이 명료하지 않거나 특정 답변을 유도한다.

흔히 단도직입적인 질문은 진실되고 유용한 답변을 얻기 위한 최악의 방식이다. 우리는 기계가 아닌 사람을 상대하고 있기 때문이다.

맛이 간 설문조사에는 상한 냄새가 나지 않는다.

잘못 작성된 프로그램 코드에는 버그가 있기 마련이고, 잘못 만들어진 인터페이스 디자인은 사용성 테스트(usability test)를 통해 문제점을 드러낼 것이며, 잘 풀리지 않는 사용자 인터뷰는 진행하면서 바로 느낄 수 있다. 그러나 잘못 만들어진 설문조사는 문제점이 무엇인지, 작성된 질문들이 유용한지 아닌지를 바로 판단하기가 굉장히 힘들다. 잘못 만들어진 설문조사는 데이터를 취합하고 결과를 분석한 후에 그 분석이 다른 정보와 불일치하는 것을 깨닫고 나서야 애초에 잘못 설계되었다는 사실을 드러내기 때문이다.

설문조사의 가장 큰 매력은 설문 응답이 수치화 하기 쉽다는 데에 있다. 셈할 수 있는 정보는 분명하고, 객관적이고, 진실에 가깝다는 인상을 주기 마련이다. 심지어 그 숫자가 거짓말을 하더라도 말이다.

예컨대 "설문조사에 참여한 사용자의 75%가 웹페이지가 로딩될 때 자동 재생되는 비디오를 좋아합니다"라는 통계를 도출하면, 이 간단한 '사실'이 의사결정자의 두뇌에 깊이 박혀 추후 의사결정에 영향을 끼치게 된다.

저자 Erika Hall

나는 간간이 사람들로부터 리서치에 관한 질문을 받는데, 보통 이러한 질문들은 조사 방법론 자체보다는 사내 갈등에 관한 것이다. 언젠가 이런 이메일을 받은적이 있다:

"저희 조직은 사용자들과 직접 소통하는 것을 금하고 있습니다. 사용성 관련 문제를 발견하고 싶으면 이메일로 짧은 설문조사를 배포하라고 합니다."

좌절감과 글쓴이에 대한 연민으로 울고 싶은 심정이었다. 이러한 사내 정책은 너무나 비생산적이고, 흔하디 흔하다. 글쓴이는 어김없이 질문했다, "저는 이제 어떻게 해야 할까요?"

사용자 리서치(user research)와 사용성 평가는 인간의 행동을 관찰하는 활동이다. 사용성 문제를 진단하고 싶다면 사용성 테스트를 실시해야 한다. 만약 직원과 제품 사용자 사이의 소통을 철저히 차단해야 한다면, 적어도 usertesting.com과 같은 온라인 리서치 플랫폼을 이용해볼 수 있다 (번역노트: 미국 및 영어권 국가에서 usertesting.com이나 user zoom같은 온라인 플랫폼들은 사용자 질적 연구 과정을 보조하는 기능을 제공하면서도 마치 에이전시처럼 리서치 대행 서비스를 제공하여 디자이너 및 리서처 사이에서 널리 사용되고 있다.) 사용성 테스트의 대체 방안으로 설문조사를 하라고 제안하는 것은 마치 디자이너와 실제 사용자 사이에 높은 벽을 두고, 그 벽의 좁은 틈 사이로 노트를 주고 받게 하는 것과 마찬가지이다. 이런 방식으로 디자이너는 실제 사용자에 대한 공감능력을 향상시킬 수 없다.

너무나 많은 조직들이 사용자 리서치를 통신 규약을 위반하는 것으로 간주하곤 한다. 금융 정보나 건강 관련 데이터를 다룰 경우 더욱 신중을 요해야 하는 것도 이해는 가지만, 그러한 경우 조차도 직접 실제 고객과 만나지 않고서도 관찰 중심의 사용자 리서치를 하는 것이 가능하다. 만약 생생한 데이터를 얻고 싶은 마음이 굴뚝이라면, 굳이 정체를 밝히지 않고 본인이 타겟으로 삼는 사용자 집단의 행동양식적 특징과 일치하는 사람들을 모집하여 연구하면 된다.

설문조사는 설문조사일 뿐이다. 설문조사는 적합한 연구 방법을 사용할 수 없을 때 대신 채택할 수 있는 대비책이 아니다.

우리가 데이터 수집에 대처하는 모습은 마치 저녘 거리를 위해 숲속으로 버섯을 채취하러 나온 동화 속 아이같을 때가 있다. 날은 어두워져가고 버섯은 강 반대편 저 멀리에 있는 데, 아이는 강을 건너자니 발이 젖는 게 싫어 망설인다. "어, 여기 버섯처럼 생긴 돌멩이들이 있네. 버섯인척 이 돌멩이들을 가져가면 아무도 눈치채지 못하겠지." 그런 마음으론 결국 식탁에 앉아 버섯 수프를 먹는 척 하면서 버섯을 닮은 돌멩이만 독오독 씹고 마는 것이다.

수많은 회의실에 앉아 있는 수많은 사람들은 가장 쉬운 데이터 수집 방식이 본인들에게 가장 유용한 것처럼 행동한다. 그렇게 얻은 데이터를 억지로 꾸역꾸역 삼키면서 말이다.

<2>편에서 계속: 사용자 경험(UX)을 위한 설문조사<2> 만족도평가