7-2-2. 정량적 유저 리서치

혹시 너도 나와 같은 마음일까~

많은 사람들에게 사랑 받는 IT 서비스를 만들고 싶다면, 사람들이 무엇을 원하는 지 알아야 합니다.

사람들이 무엇이 필요한지 파악해서 그걸 정확하게 충족해줄 수 있는 서비스를 만든다면, 사용하지 않을 이유가 없으니까요!

이전 글에서 이야기했듯, ‘유저 리서치’는 사용자가 무엇이 불편한지, 그래서 필요한 것이 무엇인지 알아내기 위한 가장 효과적인 방법입니다. 이 유저 리서치의 방법은 ‘정량적 리서치(Quantitative Research)’와 ‘정성적 리서치(Qualitative Research)’으로 나눌 수 있습니다.

이전 글에서는 유저 리서치 방법 중 ‘정성적 리서치(Qualitative Research)’에 대해 자세히 알아보았는데요! 정성적 유저 리서치는 ‘사람들이 무엇이 불편하고, 어떤 게 필요한 지 잘 모를 때’ 사용했을 때 효과적인 연구 방법입니다.

그렇다면 ‘정량적 리서치(Quantitative Research)’는 과연 무엇일지, 궁금하지 않으신가요?

이번 글에서는 정량적 유저 리서치에 대해 자세히 알아보도록 하겠습니다!

내 생각이 맞을까?를 검증하는 정량적인 유저 리서치

---

정량적 유저 리서치는 측정 가능한 데이터 수집과 체계적인 분석을 기반으로 하는 연구 방식입니다. 정성적 리서치가 인터뷰, 관찰 등의 다소 추상적이고 여러 방면으로 해석 가능한 데이터를 기반으로 이루어지는 것과는 대조적입니다.

그런데, 어떻게 사용자의 불편이나 필요를 ‘측정’할 수 있을까요? 사람들의 불편함을 자로 잴 수 있는 것도 아니고 말이죠!

사실, 방법은 어렵지 않습니다. 가장 대표적인 정량적 리서치 방식이 설문조사 거든요!

질문 리스트 만들어서 사람들에게 주고 질문에 대한 답을 1 ~ 5 중에 골라달라고 하면, 어렵지 않게 수치화된 데이터를 얻을 수 있습니다.

이러한 정량적 유저 리서치의 목적은 사용자 데이터를 수집하고 체계적으로 분석하여 ‘내가 생각했던 게 맞는지’ 검증하는 것입니다. 사람들에게 내가 생각한 게 맞는지 물어보고, 수치를 통해 맞다 아니다를 판단하는 거죠! (그렇기에 정량적 연구를 ‘실증적 연구’라고 부르기도 합니다.)

정량적 유저 리서치는 크게 ‘설문조사’와 ‘실험’으로 나눌 수 있습니다. 하나씩 자세히 알아볼까요?

내 생각이 맞는지 대답해주세요 - 설문조사 (Survey)

---

1. 설문조사란?

설문조사는 특정 주제나 현상에 대한 사람들의 의견, 행동, 경험 등을 구조화된 질문을 통해 수집하는 리서치 방법입니다. 일반적으로 설문조사의 결과가 의미있다고 받아들여지기 위해서는 최소 30명 이상을 대상으로 설문조사를 진행해야 합니다.

설문조사는 조사자의 의도가 담긴 질문지를 중심으로 이루어집니다.

여러 명의 설문조사 대상자에게 질문지를 주면, 그들은 질문을 읽고 주어진 선택지 중 하나를 선택합니다. 이렇게 수집된 데이터는 체계적인 방식을 통해 분석되어 하나의 결과로 나오게 됩니다.

이렇게 나온 결과를 보고, ‘아하! 사람들은 보통 이렇게 생각하는구나~’라는 걸 알게 되는 거죠!

만약 일기 쓰기 애플리케이션 기획을 위해 설문조사가 진행된다면, 질문지는 아래와 같은 질문으로 구성될 수 있습니다.   

1. 일기를 주기적으로 작성하시나요? (① 예 / ② 아니오)

2. 일기를 일주일에 몇 회 정도 작성하시나요? (① 8회 이상 / ② 7회 / ③ 5~6회 / ④ 3~4회 / ⑤ 1~2회)

3. 나는 일기를 쓰는 행위를 통해 정신적인 안정을 얻는다. (① 전혀 그렇지 않다 / ② 그렇지 않다 / ③ 보통이다 / ④ 그렇다 / ⑤ 매우 그렇다)

4. 모바일 앱에서 일기를 쓸 때, 불편한 점은 무엇인가요? (복수 응답 가능) (① 표현 방식의 한계 / ② 화면 크기가 작음 / ③ 앱 내에 광고가 너무 많음 / ④ 일기 내용 유출에 대한 두려움 / ⑤ 기타)

위의 질문을 보면, 설문조사를 진행하는 사람이 어떤 의도를 가지고 있는지, 혹은 어떤 가설을 가지고 설문조사를 진행하고 있는지 예상해볼 수 있습니다.

1번 질문의 경우, 일기를 쓰는 사람의 데이터를 판단하기 위해 필요한 질문입니다. 실제 사용자가 될 ‘일기를 실제로 쓰는 사람’의 답변이 중요하니까요!

2번 질문은 일기 작성 빈도에 따라 어떻게 생각하는지를 알아내기 위한 질문입니다. 다른 질문과 함께 분석했을 때, 재밌는 결과를 얻을 수 있죠! 만약 조사자가 ‘일기를 일주일에 4회 이하로 작성하는 사람은 일기를 쓰는 행위를 통해 정신적인 안정을 얻지 못할 것이다.’라는 가설을 세웠다면, 2번과 3번 질문의 답변 데이터를 분석하여 이 가설이 맞는지 확인해볼 수 있습니다.

4번 질문은 조사자가 생각하는 ‘일기 관련 모바일 앱의 불편한 점’이 실제 사용자의 생각과 동일한지 확인할 수 있는 질문입니다. 이에 더해, ‘기타’ 항목을 통해 추가적인 불편 사항도 수집할 수 있죠!

결국, 설문조사는 조사자의 생각과 가설을 질문으로 만들고, 그에 대한 응답을 받아서 ‘내가 생각한 것’과 ‘실제로 사람들이 생각하는 것’이 같은지 확인하는 리서치 방식입니다.

2. 설문조사의 장단점!

이러한 설문조사는 다수의 사람을 대상으로 진행될 때 효과적입니다. 내가 알고 싶은 내용을 질문지로 만들어두기만 하면, 10명이든 100명이든 뿌릴 수 있으니까요! 질문에 대한 답변도 선택지 중 하나를 선택하는 방법으로 이루어지기 때문에, 대량의 데이터 관리/분석도 용이한 편입니다.

이렇게만 보면 설문조사 보다 좋은 리서치 방식은 없는 것 같은데요,설문조사를 진행할 때 무엇보다 중요한 것은, 바로 ‘질문지’ 입니다. 질문지를 어떻게 구성하는지에 따라 사람들의 응답이 달라질 수 있기 때문입니다.

설문조사를 진행하는 사람은 가장 먼저, 본인이 ‘확인하고 싶은 것’을 명확히 해야 합니다. 명확한 질문을 주면, 그 질문을 받는 사람도 더 정확하게 답변할 수 있습니다.

정성적 리서치는 직접 만나서 질문할 수 있기 때문에 질문이 좀 열려있어도 괜찮습니다. 질문이 내 의도와 다르게 전달되면 다시 정정할 수 있고, 상대방의 대답을 들으며 궁금한 점이 있으면 얼마든지 다시 물어볼 수 있으니까요!

하지만, 설문조사는 그렇지 않습니다. 설문조사는 조사자와 응답자가 만나지 않고, ‘질문지’를 통해서만 이루어집니다. 응답자가 조사자의 의도를 잘못 이해하면, 잘못된 응답을 하게 됩니다. 답변한 사람이 진짜 잘 이해하고 답한 게 맞는지, 조사자는 알 길이 없습니다. 이러한 위험을 줄이기 위해서는, 질문과 답변을 명료하게 작성할 필요가 있습니다.

내 생각이 맞는지 확인해볼게요 - 실험 (Experiment)

---

1. 실험이란?

실험은 연구자가 변수를 통제하고 조작하여 특정 요인이 결과에 미치는 영향을 규명하는 방법입니다. 설문조사보다 훨씬 명확한 가설이 있고, 이를 행위를 통해 검증할 수 있을 때 주로 사용됩니다.

말로 설명하면 참 어려운데요! 실험 연구는 이미 IT 업계에서는 일상적으로 사용되고 있고, 이미 여러분이 잘 알고 있을 수도 있습니다. 바로, 최근 많은 관심을 받고 있는 AB 테스트가 바로 실험 연구의 일종입니다!

(AB 테스트는 ****두 가지 버전(A/B)을 비교해 무엇이 더 효과적인지 알아보는 실험 방식으로, 주로 마케팅이나 IT 업계에서 많이 사용됩니다.)

여러분이 직접 구매 버튼 위치를 결정하기 위한 AB 테스트를 실시한다고 상상해봅시다.

구매 버튼 위치를 좀 더 상단에 두면 구매 전환율이 올라갈 것이라는 가설 하에, 구매 버튼의 위치만 변경한 화면(A)과 기존과 동일한 화면(B)을 미리 지정된 사용자 집단에게 각각 제공합니다. 일정 시간이 지났을 때, A에서 더 높은 구매 전환율을 보였다면, 기존 가설(구매 버튼을 상단에 두면 구매 전환율이 올라간다)이 타당하다고 생각할 수 있습니다.

이렇듯 실험 연구는 직접 실험 환경을 설계하고, 실험 대상자를 선정하고, 실험군과 대조군을 두고 실험을 진행하고, 결과를 비교하는 과정을 통해 이루어집니다.

변수, 통제, 대조, … 이런 말들이 어렵긴 하지만, 사실 실험 연구 자체는 그렇게 어려운 개념은 아니라는 사실!

2. 실험의 장단점!

실험은 설문조사에 비해 진행하기 까다로운 편입니다. 설문지만 돌리면 되는 설문조사와 달리, 실험은 피실험자를 모아서 직접 진행해야 하기 때문이죠! 그렇기 때문에 실험 연구는 일반적으로 설문조사 연구보다 연구 대상자도 한정적이고, 진행 기간도 길어지며, 비용도 훨씬 많이 발생합니다.

또한, 설문조사보다 훨씬 체계적으로 리서치를 준비해야 합니다. 실험은 실험자가 설계하고 통제한 환경에서 이루어지게 됩니다. 그러다보니, 실험자의 가설이 잘못되었거나, 실험이 잘못 설계되었거나, 변수 통제가 제대로 되지 않았거나, 실험 과정에서 실수가 있었다면 힘들게 진행한 실험 전체가 말짱 도루묵이 될 수도 있습니다.

위와 같은 단점에도 불구하고 실험 연구는 특정 영역에서 매우 파워풀하게 여겨지는데요! 그 이유는 바로 ‘리서치 결과가 갖는 신뢰성’ 덕분입니다.

아까와 동일하게 ‘구매 버튼의 위치를 위로 이동하면 구매 전환율이 높아질 것이다.’라는 가설을 검증해야하는 상황을 상상해봅시다.

위 가설을 검증하기 위해 설문조사를 실시한다면 어떨까요? 설문조사로 할 수 있는 거라고는 ‘당신이 이 서비스를 사용할 때, 구매 버튼이 조금 위에 있다면 더 구매를 누를 것 같으신가요?’라는 질문을 수십, 수백 명의 사람에게 반복적으로 하는 방법밖에 없습니다. 심지어 사람들이 질문에 ‘① 네’라고 답변하더라도, 실제로 그 사람의 행동도 동일할 지는 확신할 수 없습니다.

하지만, 실험을 한다면 어떨까요? 피실험자의 실제 동작으로 구매 전환율이 올라간다는 것을 확인했으니, 실험 결과에 매우 큰 신뢰를 가질 수 있습니다.

이렇듯 실험은 진행하는 데 수많은 어려움과 귀찮음이 있습니다. 그럼에도 불구하고, 실험은 사람들의 행동에 관한 가설을 검증하는 데 매우 효과적인 리서치 방식이기에 계속해서 많은 사랑을 받고 있습니다.

---

두 편에 걸쳐 유저 리서치의 두 큰 기둥, 정성적 유저 리서치와 정량적 유저 리서치에 대해 알아보았습니다.

마지막으로 강조하고 싶은 건, 유저 리서치와 친해질 수록 사용자에 대해 더 잘 알 수 있다는 것입니다!

앞으로 사용자가 어떤 걸 원하는지 모르겠을 때, 혹은 내가 생각하는 서비스의 방향성이 사용자가 원하는 바와 일치하는 지 궁금할 때 유저 리서치를 적극적으로 활용해보시는 건 어떨까요?