4. 정량조사 방법과 장단점 (설문지작성 Tip)
10년 차에 다시 공부하는 UX/UI (입문자를 위한 이론)
[Intro] 리서치 방법은 크게 '정량조사'와 '정성조사'로 나눌 수 있습니다.
이 둘을 나누는 기준은 쉽게 생각해서 뭔가 조사를 했는데, 그 조사 결과가 몇 %, 몇 명, 몇 시간, 몇 점 이렇게 어떤 수치로 나오면 정량조사이고 그렇지 않으면 정성조사입니다.
[01]. 정량조사의 종류
조사를 했을 때 수치로 결과를 얻을 수 있는 정량조사 방법에는 무엇이 있을까요? 먼저 우리에게 친숙한 조사방법인 '설문조사(Survey)'가 있습니다. 설문 중에서도 '객관식' 질문이 이에 해당되며, 설문조사는 종이, 전화, 온라인(링크를 통한 접속) 등의 방법으로 시행됩니다.
두 번째 정량조사 방법은 바로 '로그 데이터'를 활용하는 방법입니다. 이미 상용화된 서비스의 경우 사용자들이 서비스를 사용한 기록을 마치 발자국으로 남기듯 기록한 데이터를 로그 데이터라고 합니다. 모바일이나 PC 기반의 서비스에서 주로 활용됩니다. 로그 데이터를 남기는 가장 쉬운 방법은 구글에서 제공해주는 '구글애널리틱스'라는 툴을 활용할 수 있고, 보다 다양하고 자유롭게 기록하고 싶으면 회사에서 자체적으로 기록하고 관리합니다.
주로 어떤 데이터를 로그로 남기나요?
- 우리 앱을 첫 방문할 때 어떤 광고를 통해 접근하나? (SNS 카드뉴스? 타 앱의 광고 배너? 친구의 피드?..)
- 주로 어느 요일, 몇 시대쯤 우리 서비스에 접속할까?
- 첫 방문자 대비 최종 결제까지는 이루어지는 사용자는 몇 % 일까?
- 우리 앱에 한번 접속하면 주로 몇 분 정도 사용할까?
- 사용자들이 가장 많이 방문하는 페이지는 어디일까?
[02]. 정량조사의 장점
1. 설득력이 높습니다.
정량조사의 결과물은 정확한 수치, 그래프, 차트, 인포그래픽 등으로 표현됩니다. 이 결과물들은 대단히 객관적이고 전문적이어서 설득력이 매우 높습니다. 실제로 숫자의 힘을 대단합니다. 오랜 노하우와 경험, 직감을 무시하게 될 만큼 수치를 강력한 근거이자 동시에 실제인 '팩트'처럼 보입니다. 이 때문에 수치로 된 결과는 커뮤니케이션하는데 명확하고 용이합니다
2. 조사 담당자의 능력과 상관없이 똑같은 방법으로 수집이 가능합니다.
정량조사는 특정 답을 물어보는 것입니다. 친절하게 물어보든, 간단하게 물어보든, 질문하는 방법에 큰 상관없이 동일한 방법으로 수집하기 때문에 여러 명이 동시에 진행할 수 있고, 그 결과도 객관적입니다. (하지만 실제로 설문조사를 할 때 질문하는 사람의 영향을 제법 받습니다. 이 부분은 단점에서 자세히 다루겠습니다)
3. 조사방법이 효율적입니다.
여러 명이 한꺼번에 수집할 수 있어 시간을 줄일 수 있습니다. 또한 온라인 설문은 링크만 있으면 되기 때문에 질문 방법도 너무 쉽고 간단합니다. 로그 데이터는 실시간으로 엄청난 양의 데이터를 저장합니다. 이렇게 단 시간 내에 다량의 데이터를 확보할 수 있기 때문에 기업에서 많이 선호합니다.
[03]. 정량조사의 단점
1. 설문조사의 경우 거짓 답변에 유의해야 합니다.
설문조사를 할 때 대부분의 참여자들은 자신의 속마음을 제대로 들여다보고 진실로 답해주는 경우가 드뭅니다. 시간이 없어서 대충대충 틀린 대답해주는 경우도 있고, 본인도 본인의 속마음을 제대로 모르고 답변하는 경우도 있습니다. 또는 답변자의 기억이 틀렸을 수도 있고, 조사하는 분의 체면을 봐서 일부러 좋은 점수를 주는 경우도 있습니다. 문제는 이렇게 수집된 데이터가 합산이 되는 순간 진실 여부를 판단할 수 없는 숫자로만 표현됩니다. 그리고 그 숫자는 설득력이 높아 직원과 대표는 그 결과를 맹신하게 되어 자칫하면 잘못된 판단을 하게 될 수 있습니다.
따라서 설문조사를 할 때에는 거짓 없이 정확하게 '수집'하는 것이 최고로 중요합니다. 거짓 답변을 많이 수집하는 것보다 양은 적더라도 솔직한 답변을 얻는 것이 중요합니다.
>> 설문조사의 거짓 답변을 해결하는 보안책
조사방법도 효율적이고 조사 결과도 거짓이 없다면 세상 좋겠죠. 그 세상 좋은 방법이 바로 '로그 데이터'를 활용한 방법입니다. 로그는 사용자가 임의로 조작할 수 없기 때문에 정말 사용한 그대로 기록할 수 있습니다. 로그 데이터를 보면 디자인을 가장 중요시한다는 고객이 실제로는 가성비 위주의 제품만 구매하는 것도 알 수 있고, 어떤 키워드로 제품을 검색하는지, 정확한 월평균 구매금액이 얼마인지, 어떤 할인 혜택을 주로 이용하는지 등등을 고객의 기억에 의존하지 않고 정확하게 알 수 있습니다.
2. 잘못 수집된 로그 데이터도 오류 판별이 어렵다.
로그 데이터를 사용자가 거짓으로 만들 수는 없지만 회사에서 잘못 수집하는 경우도 있습니다. 만약 하루에 우리 서비스를 이용하는 유저를 알고 싶을 때에는 DAU(Daily Active User)를 알아야 합니다. DAU는 한 사용자 오늘 재 방문한 경우 카운팅을 하지 않는 수치를 의미합니다. 그런데 만약 수집하시는 분이 DU(Daily User)로 수집하게 되면 완전 다른 수치가 수집됩니다. DU는 누군가 서비스에 방문할 때마다 카운팅을 하기 때문에 1명이 오늘 10번 방문했다면 DU = 10 이 됩니다. 사실 DAU = 1인데 말입니다. 실제로 1명이 이용하고 있는데 10명이 이용하는 것으로 착각한다면 회사의 경영전략에도 오류가 생길 수 있겠죠. 또 다른 예로 어떤 페이지에 방문하는 수치를 접속한 즉시 카운팅 할 것이냐 접속 후 3초 정도 머물렀을 때 카운팅 하느냐에 따라 전혀 다른 결과가 나올 수 있습니다. 문제는 수집된 후 수치만 봐서는 잘못 수집된 것인지 전혀 판단할 수 없기 때문에 로그 데이터를 확보할 때 수집 기준을 정말 정확히 정의해야 합니다.
3. 디지털로 상용화되지 않은 서비스는 로그 데이터 확보가 어렵다.
로그 데이터는 모바일이나 PC에서 실제로 사용을 하면서 얻을 수 있는 기록입니다. 따라서 아직 출시하기 전의 서비스나 디지털 제품이 아닌 경우 (공간, 물건, 무형의 교육/의료서비스)에는 다양한 데이터 수집이 어렵기 때문에 로그 데이터에 전적으로 의존할 수 없습니다. (최근 IOT의 발전으로 사물에서도 확보할 수 있는 데이터가 있긴 하지만 모바일이나 PC처럼 디테일하게 얻기는 어렵습니다)
[04]. 설문지 질문을 작성하는 방법
위에서 언급했든 설문조사는 답변을 수집하는 과정이 매우 중요합니다. 어떻게 질문하고 어떻게 보기를 만드느냐에 따라 조사 결과 방향이 달라질 수 있기 때문입니다.
설문조사를 할 때 가장 먼저 할 일은 '무엇'이 궁금한지를 명확히 하는 것입니다. 일단 조사해보고 결과에서 인사이트를 얻자 이렇게 생각하면 정말 큰일 납니다. 조사방법이 틀리면 그 결과도 믿어서는 안 됩니다. 무엇을 알고 싶어서 설문조사를 하는 건지를 쭉 나열해보고 그들 중에서 꼭 알아야 하는 질문 위주로 1개~2개 정도만 선정합니다. 여기서도 너무 많은 질문을 한꺼번에 다 알려고 하지 마세요.
궁금한 것을 명확히 정했다면 그것을 알기 위해 하위 정보를 나열해봅니다.
예를 들어 우리 서비스의 고객에 대해 궁금하다면, 그 고객의 어떤 정보가 궁금한지 나열합니다. 기본정보(프로필), 소득 수준, 관심분야, 서비스 사용행태, 취향, 라이프스타일 등등이 있을 것입니다. 그 하위 항목을 6개 내외로 적어봅니다.
그 후 그 항목을 알 수 있는 구체적인 데이터를 적어봅니다. '기본정보'라고만 하면 수집하는 사람마다 다 다르게 해석할 수 있습니다. 예를 들어 '결혼 유무'를 기본정보라고 생각하는 사람이 있을 수 할 수도 있고 아닐 수도 있습니다. 이렇게 구체적인 데이터를 적을 때에는 전반적인 상식에서 생각하는 것이 아니라, 우리 서비스의 특징과 조사하는 상황에 맞게 그때그때 재 정의하는 거라도 보시면 되겠습니다.
'기본정보' 그나마 쉽습니다. '관심분야' '라이프스타일' '취향'처럼 다소 주관적이고 추상적인 항목을 어떻게 알 수 있을까요? 이 추상적인 항목을 유추하는 데 도움이 되는 구체적인 데이터를 생각해봐야 합니다. 관심분야는 주로 검색하는 키워드나 지출이 가장 많은 분야 top 3 등을 알면 도움이 될 것 같습니다. 라이프스타일은 현재 직업이 무엇인지, 가족 구성원이 어떻게 되는지, 근무시간이 어느 정도 인지, 취미가 무엇인지 등으로 유추할 수 있을 것 같습니다. 이 작업도 정답이 있는 것이 아니라 우리가 조사하는 서비스를 생각하면서 이번 조사에 가장 필요한 데이터 위주로 나열하시기 바랍니다.
이렇게 구체적인 데이터를 나열해보면 항목별로 겹치는 데이터도 있고, 크게 중요하지 않는 항목이나 데이터가 있을 수 있습니다. 마지막으로 다시 점검해서 최종 설문지에는 10개 내외의 질문을 넣는 것이 적당합니다. 그 이상은 답변하는 분이 힘들 수 있고 그러면 뒷부분의 답변은 거짓으로 작성할 수도 있습니다. 답변자가 너무 힘들지 않은 수준으로 조정하는 것이 좋습니다.
[Outro]. Data driven - UX
디자인을 하는데 왜 이렇게 머리 아픈 데이터와 리서치를 알아야 하는 걸까요? UX/UI 디자인은 디자이너가 만들고 싶은 디자인보다는 '사용자를 위한 디자인 = UCD (User Centered Design)'을 해야 하기 때문입니다. 내가 아닌 타인을 이해할 때 가장 조심해야 할 것은 나의 편견이나 선입견입니다. 대부분의 사람은 자신이 경험한 대로 생각하고 판단합니다. 그래서 남을 있는 그대로 제대로 이해하는 것은 정말 쉽지 않은 일입니다. 하지만 그럼에도 불구하고 제대로 이해하고 디자인했을 때 사용자의 만족감은 증대되고 그때 디자이너의 성취감도 이루 말할 수 없을 만큼 큽니다.
그렇다고 디자인을 하는 내내 이렇게 디자이너의 주관을 버리라는 것은 아닙니다. 디자인을 기획하는 초기단계에서만 내 머릿속 우물에서 나와 사용자를 제대로 보고 불편한 점이나 바라는 점을 잘 찾아내는 단계까지만 객관성과 논리성을 유지하면 됩니다. 그리고 그렇게 기획된 방향은 추 후 실제 디자인하는 과정에서 흔들리지 않는 탄탄한 컨셉 키워드가 되어 줄 것이고, 마지막 디자이너의 결과물에도 근거가 되어 설득의 힘이 되어 줄 것입니다.
디자이너분들의 결과물이 꼭 남에게 설득력 있게 인정받기를 바랍니다.
