브랜드 인식, 설문조사로 알아보기
새싹 UX Researcher의 직업 일지!
우리 서비스도 좀 장기적으로 만족도를 확인해야 하지 않겠어?
UX 리서처로서 일을 하다보면 세부적인 기능이나 서비스에 연연하게 되는 일이 많다. 물론 모든 리서처가 그렇다는 건 아니지만, 아직 숲을 보기 어려운 나는 그랬다. 왜 이럴까? 깊게 생각할 것도 없다. 업무 상 자연스럽게 세부 기능에 초점이 맞춰지다보니 어쩔 수 없는 현상이라고 생각한다. 회사의 큰 서비스 중 배송 기능이라든가(사실, 이 꼭지도 매우 큰 영역으로 느껴진다.), 배송 기능 안의 배송확인 버튼이라든가, 아니면 배송 서비스를 이용하는 맥락이라든가…. 이렇게 세부적인 기능을 점검하고 모으고 모아 좋은 서비스를 만드는 게 일종의 직업윤리에 가깝다. 업무 자체의 특성이라고 생각한다. 이탈이 많이 일어나는 특정 기능을 사용자들이 잘 쓰고 있는지에 대해 분석하고 이야기를 하고 있다보니 전체를 보는 기회가 줄어드는 건 당연한 일 아닌가. 정신없이 나무 기르기도 바쁜데 숲을 볼 시간과 기회가 자연스럽게 생기는 건 아니다.
나무 보면서 숲 전체를 보기의 어려움이란...하지만 이번에는 조금 다른 관점이 필요했다. 나무가 아니라 숲을 보기 위해, 숲 뿐만이 아니라 더 넓은 조성도를 알아보기 위해 설문조사가 필요했던 것이다. 모든 일이 언제나 그렇듯 시작은 아주 평범한 말로부터 시작되었다. 회의 때 다른 팀원들에게 받은 질문은 “우리 서비스가 그래서 전체적으로는 어떻게 평가를 받는데?” 였다. 나는 진행했던 리서치들을 예로 들어가며 A서비스는 좋고, B서비스는 상대적으로 나쁘고 등을 설명했다. 하지만 다른 사람들이 원하는 답은 아니었던 모양이다. 세부적으로 편하면 서비스를 정말 다 좋게 느끼나? 우리 브랜드는 어떻게 평가되고 인식되나? 에 대한 질문이 연이어 던져졌다. 한번 알아볼게요. 그런 대답을 끝으로 회의가 마무리 되었고, 나는 이 질문에 대한 답을 해야 할 위기에 놓였다. 사용성을 포함한 더 넓은 관점에서의 조사가 필요했다는 의미다.
설문조사로 만족도 파악하기
‘사용자들이, 혹은 잠재 고객들이 우리 서비스를 어떻게 인식하고 있는가?’ 우리의 목표는 정해졌다. 이 목표로 나올 기대 인사이트는 실제 사람들의 인식을 아는 것도 있지만, 그 인식 속에서 마케팅 전략을 어떻게 짜면 좋을지도 있었다. 늘 사용자들이 이 서비스, 기능에 대해 어떻게 생각하는지를 중심으로 조사했다면 느닷없이 전체적인 인식(이미지)을 탐색해야 했던 것이다. 나는 UX리서처인데 이런 걸 해도 되나? 라는 고민도 있었다. 그리고 나는 그 해답을 넥슨 팀의 리서처 칼럼에서 찾을 수 있었다.
멋진 글을 다들 읽어봤으면 한다!사용자들의 인식, 특성을 조사해서 마케팅에 활용한 사례였다. 나는 이 칼럼에서 UX리서처로서 할 수 있는 브랜드 조사의 가닥을 잡을 수 있었다. 정말 멋진 글이니 시간 되시면 다들 읽어보시길 권하고 싶다.
나는 다양한 사례들을 살펴보며, 사용자들이 브랜드를 인식하는 것과 사용성을 지각하는 건 별개라는 걸 알게 되었다. 아니, 이미 알고 있는데 명확하게 가시화된 게 처음이라고 말해야 옳을 것 같다. 브랜드 인식이 좋더라도 지각하는 사용성은 낮을 수 있고, 그 반대가 될 수도 있다. 물론 둘은 밀접하게 연관되어 상호작용 하겠지만, 각 요소들이 일정한 방향성을 갖지는 않는다는 의미다. 즉, 사용 행동과 태도, 인식을 모두 분리해 측정할 수 있는 설문을 구성해야 했다. 어떻게 하면 좋을까? 검색을 해가며 고민을 하면서 내린 나의 결론은 U&A 조사 방법을 차용하자는 것이었다.
이 결정에는 오픈서베이의 아티클들이 큰 도움을 주었다. U&A 조사란 무엇인가? U&A 조사는 사용자의 행동과 태도를 조사하여 마케팅 플랜을 짜볼 수 있는 조사 방법이었다. 오픈서베이가 제공하는 가이드북에 맞춰 나는 리서치의 배경, 목적, 가설, 주기를 설정했다. 우리의 조사 배경이 무엇인지, 그 조사에 대한 목적은 무엇인지, 조사 결과로 확인하려고 하는 가설과 얼마나 자주(장기적인 검증이 좋은 듯 보인다.) 진행할 것인지…. 정해야 할 일이 많았다. 나는 사용자들의 브랜드 인식을 긍정적으로 변경하고 싶다는 커다란 배경 하에 목적과 가설을 설정했다. 주기는 1년에 4회, 즉 분기당 1회 진행하기로 설정했다. 리서처들이 가장 많이 선택하는 주기이기도 하고, 서비스가 더 좋은 방향으로 개선될 시간 확보가 필요했기 때문이다.
간략한 목표 설정을 마친 뒤에는 당연하게도 설문 항목이 필요했다. 나는 크게 5가지의 꼭지를 잡았다. 우리의 시장 타깃이 무엇인지, 시장에서 무엇을 사용하고 있는지, 제품을 사용하기 가장 좋은 시기가 언제인지, 제품을 어디에서 사용하고 있는지, 사용 이유가 무엇인지. 이렇게 5가지였다. 또한, 이 5가지 항목을 알기 위한 문항으로 크게 상황, 태도, 사용성, 인식, 매력도, 충성도 등등으로 구성했다. 사용자의 행동과 간략한 맥락을 알 수 있는 다양한 카테고리를 선정한 것이다. 예를 들어 제품을 사용하는 상황을 측정한 문항을 몇 가지, 제품에 대한 태도를 측정한 문항을 또 몇 가지와 같이 말이다. 설문조사 안에 최대한 많은 경험들을 담을 수 있도록 눌러 담았다. 이 정도면 되었겠지?
열심히 측정 항목들을 스케치한 뒤에, 검토를 할 무렵이었다. 세상 일 참 쉽지가 않지. 나는 다시 문제에 봉착했다. 그런데, 이거 믿을 만한 척도가 맞나? 라는 의문이 들었기 때문이었다.
Garbage In Garbage Out!
목표도 정해지고 측정하고 싶은 카테고리도 대략적으로 정했다. 그럼 이 다음은 뭐지? 생각해 봤을 때, 이제 문항 구성을 해야 할 차례였다. 보고 싶고 묻고 싶은 항목들을 작성해 나가면서 마음에 걸리는 건 문항의 신뢰도와 타당도 문제였다. 설문조사에서 신뢰도와 타당도는 늘 중요한 문제가 된다.
신뢰도란, 동일한 대상을 반복적으로 측정할 때 같은 결과를 가져올 수 있는 정도로서, 측정하고자 하는 특성을 오차 없이 정확하게 측정하는 정도이다.
타당도란, 측정하고자 하는 변인을 검사가 제대로 측정하였는지에 대한 정도이다.
말이 어려울 수 있으나, 요는 간단하다. 내 설문조사의 자(Scale)가 제대로 측정하고자 하는 걸 측정하는가? 에 대한 대답인 것이다. 사용자의 마음을 알기 위해서는 늘 일정한 자가 필요한데, 그 자가 매번 들쑥날쑥 해서는 안 되지 않는가. 간단하게 사용하고, 문항의 목적이 너무나 명확하고 범위가 적다면(ex. A 기능을 사용할 때 편리하게 느꼈는지? 등) 상관이 없을지도 모른다. 하지만 이번 설문조사는 브랜드 차원의 장기적이고 정기적인 조사였다. 척도의 신뢰도가 중요하다는 판단이 들었다. 그래서 이왕이면 검증된 항목을 가져다 사용하고 싶었다.
어떻게 해야할까? 고민을 하다 최근 화제인 ChatGPT에게 물었다. 물론 별 기대는 없었다. 프롬프트의 내용은 대략 아래와 같았다.
결과적으로, GPT에서는 위 프롬프트로 좋은 조사 결과를 내지 못했다. 신뢰도와 타당도 조건이 걸리자 논문 DB에는 접근할 수 없다는 사실을 알려주었고(정확한 수치를 요구했다.), 제공해준 설문조사 항목들이 널리 사용되고 있다는 답변만 했다. 아쉬운 답변에 다른 고민을 해보다 GPT에서 가장 많이 사용되는, 증명할 수 있는 등의 키워드를 넣어 다시 물었다. 이에 SUS, SURP-Q, NPS, CES 등의 이미 개발된 설문조사 항목들을 추천했다. 이건 좋은 답변이었다! 나는 이중 SURP-Q를 메인으로 선택했다.
SURP-Q는 The Standardized User Experience Percentile Rank Questionnaire의 약자로 사용성을 측정하기 위한 설문조사다. 5점 척도로 구성되어 있고, 200개 이상의 웹사이트와 13개국 이상의 국가에서 널리 사용되고 있다. 그리고 이 문항의 신뢰도와 타당도에 대해 연구한 논문까지 쉽게 찾을 수 있었다. 게다가 문항 역시 전체 공개가 되어있어 빠르게 수집했다. 만족스러운 조사 결과였다.
나는 이 문항들을 활용해 설문조사를 구성했다. 여기에, 가장 널리 사용되는 설문인 NPS와 CES를 함께 취합했다. 물론 단순히 섞어서 내놓기만 하는 건 아니었다. 필수 문항을 신로도가 높게 구성하고, 개인적으로 묻고 싶거나 브랜드 차원에서 확인해야 하는 항목들을 선택적 문항으로 넣었다. 그리고 문항은 최대한 간결하게! 를 목표로 삼았다. 묻고 싶은 걸 다 묻지 않았다는 의미다.
상세 카테고리나 세부적인 why를 알고 싶더라도 사용자의 입장에서 쉽게 구성하려 했다. 평소 리서치와는 다르게 일차원 적이게가 목표인 셈이다. 설문조사로는 표면의 문제를 짚는 걸 우선했고, 더 깊은 맥락은 리서치로 알아볼 수 있도록 했다. 설문조사로 너무 많은 걸 알고자 하면, 사용자들은 생각하고 답변하지 않는다는 걸 알아 두었기 때문이었다.
또한, 설문은 사용자를 특정하기 어려울 수 있기 때문에(어드민이나 서비스 내에서만 뿌려지는 게 아닐 수 있음을 기억하자!) 인적사항 문항을 앞에 넣었다. 일종의 구분 값인 셈이다. 인구통계학적 정보를 성별, 나이대, 사용 시기 등으로 구분했다. 서비스 이용 id를 받는 란을 넣는 것도 고려해볼만 하다.
나는 이런 과정들을 거쳐 설문조사를 완성했다. 이 정도면 신뢰롭고 타당한 설문이 될 수 있을까? 기대하면서 말이다. 이 설문조사가 어떻게 사용되었고, 활용되고 있는지는 2탄으로 작성해보려고 한다. 좋은 결과가 나와 웃으면서 작성할 수 있었으면 더할 나위 없겠다. 그럼 모든 리서처들이 새로운 도전을 하기를 기원하며! 혹시 더 좋은 팁이 있다면 댓글로 알려주시라!
