사용자 조사를 해보자 (4) - 조사 결과 분석하기
사용자 조사, 이것만 알면 누구나 할 수 있습니다
유저리서처 리서처리 유튜브 채널
https://www.youtube.com/channel/UCKx_Gnr85hTKaplBWOulAwg/videos
이 시점에서 지금까지 한 일의 목적을 한번 재점검해보자. 팀원들과 미팅을 하고, 심사 설문, 가이드라인과 같은 문서를 작성한 후 본 적 없는 사용자와 만나 한 시간 동안 인터뷰를 진행했던 궁극적인 목적 말이다. 왜 우리는 시관과 돈, 노력을 들여 사용자 조사라는 것을 했을까?
연구 목적 측면으로 바라보면
1. 도메인 지식을 더 촘촘하게 구축하기 위해
2. 우리의 사용자와 공감대를 형성해서 그들의 감정, 불편함, 필요 등을 파악하기 위해
3. 사용자의 멘탈 모델 (구매 프로세스, 탐색 프로세스) 등을 파악하기 위해
4. JTBD (Jobs to be done) 프레임 워크를 파악하기 위해
등등 이 있을 수 있다.
그리고 조사를 통해 달성한 이러한 목적들은 결국
1. 매출 증대
2. 브랜드 인지도 향상
3. 신제품 수용도 파악
4. 신기능 방향성 도출
등과 같은 매우 실질적이고 중요한 사업적인 목표와 맞물려 있다. 사실, 그래야만 한다.
조사 결과를 정리하고 분석한다는 것은 곧, 금번 수행한 조사가 어떤 사업적 목표에 기여하는지를 규명하고, 그 사업적 목표를 증진시키기 위해 어떤 불확실성을 제거해주었는지를 명시하는 작업이라고 볼 수 있다. (사전에 조사 설계 작업이 그토록 중요한 이유도 바로 여기에 있다)
자, 그럼 우리는 현재 여러 사용자와 인터뷰를 나누면서 수집한 방대한 서술형 데이터를 가지고 있다. 이제 이 서술형 데이터를 여러 정제 단계를 거쳐 의미 있는 인사이트로 승화시킬 차례이다. 다음 6가지의 구체적인 절차를 통해 파편화된 데이터가 의미 있는 인사이트로 바뀌는 희열을 느껴보도록 하자.
1. 녹취
2. 정보 계층 분리
3. 중간 요약
4. 패턴 도출 (MECE)
5. 인사이트 부여
6. 도식화 (필요시)
1. 녹취
녹취는 작업 자체는 매우 간단하다. 녹음 파일을 듣고 컴퓨터로 타이핑을 하면 된다. 아래 예시처럼 말이다.
Q. 탄산음료를 주로 언제 마시나요?
"저는 탄산음료를 주로 게임을 하면서 같이 먹는 편이에요. 음 뭔가 게임만 하고 있으면 입이 좀 심심하다랄까? 이온음료는 뭔가 밋밋한데, 탄산음료는 톡 쏘는 맛이 있어서 왠지 게임이랑 잘 어울리는 것 같고요. 아 근데 생각해보니까 탄산음료 중에서도 항상 환타만 먹었던 것 같아요. 가격이 더 저렴했던 것 같기도 하고, 과일향이 들어있어서 뭔가 더 달달한 것 같은 느낌?"
녹취 완료 상태녹취는 정말 진심으로 가장 재미없고 고된 작업이다. 사용자 인터뷰는 1명당 최소 1시간 정도의 시간을 할애해서 진행한다. NNGroup에서 권장하는 Usability Test의 최소 모수는 3명이라고 하니, 그 기준으로 보더라도 최소 3시간 분량의 인터뷰 녹음 파일을 가지게 된다.
필자가 아는 범위 내에서는 중국어, 일본어, 한국어와 같은 Non-Latin 계열의 음성 녹음 파일을 높은 수준의 퀄리티로 자동 녹취해주는 서비스는 아직 접하지 못했기에, 아마 대부분의 유저/마케팅 리서처들은 (본인 포함..) 여전히 x시간 분량의 음성파일을 다시 들으며 타이핑을 하는 작업을 거치고 있을 것이다. 1시간짜리 인터뷰 녹취하는데 최소 1시간 30분~2시간 정도가 소요되기 때문에, 이 녹취를 하는 작업이 가장 고단한 작업임에는 틀림없다.
그럼에도 불구하고 녹취를 하는 작업이 반드시 필요한 이유가 몇 가지 있다.
1. 우리의 기억은 편향적이기 때문이다
한 5명 정도와 인터뷰를 하고 나면 분명 특별히 머릿속에 각인된 문구가 있고, 특별히 도드라져 보이는 참여자가 있을 것이다. 이 상태로 전체 조사에 대한 결론을 도출하거나, 실질적인 방향성을 제시하게 되면, 그 각인된 특정 참여자의 입장과, 공교롭게 뇌리에 박힌 몇 마디 문구가 곧 모든 인터뷰를 일반화시켜버리는 큰 오류를 범할 수 있다.
더 위험한 것은, 주고받은 여러 이야기 중에 특별히 더 각인이 될 법한 문구는, 대부분 내가 평소에 가지던 생각을 동의해주거나 검증하는 의견일 가능성이 높다. 그렇게 되면 이 자체로 전체 조사가 하나의 거대한 확증 편향의 함정에 빠지게 된다. '제가 평소에 주장하던 것을 사용자들도 직접 언급했습니다. 사용자 조사를 통해 검증이 되었습니다!'라는 식으로 말이다.
전체 인터뷰 내용을 녹취한 후, 그 녹취록을 기반으로 데이터를 솎아나가기 시작한다면, 최소한 모든 문자와 의견들은 동일한 가중치의 Voice를 가지게 된다.
2. 우리의 기억은 불완전하기 때문이다
녹취록을 작성하는 과정에서, '아 맞다, 저런 말도 했었지', '그때 언급했던 웹사이트가 기억이 안 났는데 이제 생각났네' 같은 순간들이 있다. x시간 분량의 대화의 모든 디테일을 기억한다는 것은 매우.. 어려운 일이다. 게다가 상위 계층의 소비자 이해는 리서처가 아니더라도 어느 정도 이해하고 있을 가능성이 높다. 리서치의 가장 큰 강점은 그 상위 계층의 이해에 디테일을 들 채워 넣는 작업이라고도 볼 수 있다. 사소한 디테일에서 꽤 큰 임팩트가 있는 액션이 도출될 수도 있다는 점을 명심하자.
3. 녹취록 덕분에 인터뷰 현장에서는 풍부한 VOC 수집에 더 집중할 수 있기 때문이다
추후에 녹취를 하는 작업이 없다는 것은, 위에 언급한 2가지 위험 요인을 완화할 수 있는 장치가 없다는 의미이다. 그렇기 때문에 인터뷰를 진행하는 과정에서 디테일을 놓치지 않으려고 더 신경을 쏟을 것이며, 기억이 편향되지 않기 위해 2번째 인터뷰를 진행할 때도 1번째 인터뷰의 내용을 계속 곱씹으려고 할 것이다. 우리의 뇌의 용량은 한계가 있기 때문에, 이 두 가지를 염두하면서 인터뷰를 진행하면 반드시 과부하가 걸릴 수밖에 없고, 오히려 현장에서의 인터뷰의 품질이 떨어질 수 있다. 현장에서 오롯이 인터뷰 진행에 더 몰두하여 높은 품질의 인사이트를 끌어내는 것에 집중하고, 세부적인 분석은 녹취를 한 후에 진행해도 늦지 않는다.
2. 정보 계층 식별 및 분리
녹취록이 완성되었다면 두 번째로 할 작업은 VOC의 정보 계층을 식별하는 작업이다.
"저는 탄산음료를 주로 게임을 하면서 같이 먹는 편이에요" - 탄산음료 섭취 상황
"이온음료는 뭔가 밋밋한데, 탄산음료는 톡 쏘는 맛이 있어서 왠지 게임이랑 잘 어울리는 것 같아요... 더 달달한 느낌? - 탄산음료 선호 속성
"게임만 하고 있으면 입이 좀 심심하다랄까?... 톡 쏘는 맛이 게임이랑 잘 어울리는 것 같고요" - 섭취 동기
"탄산음료 중에서도 항상 환타만 먹었던 것 같아요" - 브랜드 초이스
"가격이 더 저렴했던 것 같기도 하고, 과일향이 들어있어서 뭔가 더 달달한 느낌?" - 해당 브랜드 선택 이유
계층 식별 완료 상태이러한 정보 계층 식별 작업이 중요한 이유는, 인터뷰의 흐름 속에서 사용자는 절대로 이러한 계층에 의거해서 답변을 하지 않기 때문이다. 우리 일상에서 친숙한 활동들 (탄산음료 섭취, 핸드폰 조작, 영화관 가기, 음식점 고르기 등등)은 무의식적이고 직관적으로 일어나는 활동들이기 때문에 굳이 '내가 방금 핸드폰을 조작한 이유는 나의 무료함을 달래기 위함이지'라는 식의 자가 성찰을 하지 않는다. 이러한 데이터들은 행동을 연구하는 리서처들에게나 중요한 것이며, 사후 분석을 통해서 계층 식별이 되어야 하는 정보이기도 하다.
계층 식별이 완료되었으면, 알맞은 흐름에 따라 다음과 같이 계층을 분리해보자.
계층 분리 완료 상태정보 계층 식별 및 분리 단계가 반드시 필요한 이유는 4번째 단계인 패턴 도출에 쓰일 기반 데이터가 되기 때문이다. 하지만 그전에, 계층 분리가 완료된 결과물을 가지고 1차 요약을 한번 하고 넘어가도록 하자.
3. 중간 요약
중간 요약 단계의 의미는 단순하다. 정보 계층 분리까지 완료된 인터뷰 결과물에 말 그대로 '한 줄 요약'을 적어나가는 것이다.
위에서 언급된 예시를 바탕으로 중간 요약을 하자면 아래와 같다.
중간 요약 완료 상태정보 계층 분리화가 잘 되었다면 중간 요약은 어렵지 않다. 잘 분리된 데이터라면 충분히 짧은 파편으로 쪼개져 있을 것이므로 한눈에 봐도 어떻게 요약해야 되는지가 바로 보이기 때문이다. 만약 그렇지 않다면, 더 쪼갤 수 있는 정보 계층이 있는지를 점검해 보기를 바란다.
중간 요약 단계에서 가장 중요한 것은, 모든 사용자의 인터뷰 결과물이 동일한 정보 계층의 선상에 놓여야 하며, 모든 인터뷰에 대해서 중간 요약이 완료되어야 한다는 점이다.
모든 인터뷰 내용에 대해 중간 요약이 완료된 상태이 작업이 잘 되어있다면, 바로 다음 단계인 패턴 도출로 넘어가 보자.
4. 패턴 도출 (MECE)
중간 요약을 했던 가장 큰 이유는 정보를 단순화하여, 정보처리 과정의 효율성을 향상하기 위함이다. 이제 우리는 깔끔하게 요약된 (즉, 본래의 정보가 누락되지 않은) 문장들을 횡으로 비교해 가며 패턴을 찾으면 된다. 음료수를 마시는 상황에 요약된 내용을 가로로 살펴보면, 몇명의 사용자들이 겹치는 응답을 하였는지 쉽게 볼수 있다.
한 줄로 정리된 중간 요약을 보며 횡열 간 공통 패턴이 있는지 한눈에 확인한 후 새로운 칼럼을 생성하여 정리한 상태패턴 도출을 위해선 정리해 놓은 한줄 요약을 사용할 것이므로, Raw VOC는 삭제하지 말고, 일단 가독성을 위해 숨김처리를 해 놓자. 추후에 VOC를 인용하기 위해 Raw VOC를 쭉 보존하는 것이 매우 중요하다.
패턴 도출 작업은 맥킨지 컨설팅 업체에서 활용하는 것으로 알려진 MECE라고 하는 프레임 워크를 기반으로 한다. MECE는 Mutually Exclusive, Collectively Exhausted라는 의미로, 항목들이 상호 배타적이면서 모였을 때는 완전히 전체를 이룬다는 것을 의미한다. 이를테면 '겹치지 않으면서 빠짐없이 나눈 것'이라 할 수 있다. (출처 : 위키백과)
패턴 도출이 완료된 상태의 데이터를 다시 한번 보자. 우리는 횡열로 모든 인터뷰에서 수집한 내용에 대한 정보를 취합하였다. 또한 앞서 중간 요약을 통해 각 인터뷰 전체에 대한 내용을 누락 없이 요약해 놓았다. 밑에서부터 차곡차곡 정보들이 모여, 어떠한 정보의 누락도 발생하지 않았으며, 패턴을 도출하는 과정을 통해 중복 데이터를 취합해 놓음으로써 상호 배타적인 조건도 충족하였다. MECE 프레임에 대한 설명은 이 정도로 하고, 혹시 더 자세히 알고 싶다면 "로지컬 씽킹 : 맥킨지식 논리적 사고와 구성의 기술"이라는 책을 읽어 보시기를 권한다.
이제 모든 인터뷰 데이터가 깔끔하게 정리가 되었다. 뭔가 한 게 많은 것 같지만, 사실 잘 생각해보면 여기까지의 모든 작업은 녹취록의 내용을 구조화하고 요약한 것의 결과물이다. 즉, 이 데이터는 잘 배열된 '팩트'에 불과하다는 의미이다. 요리에서 마지막에 플레이팅을 하듯, 이제 우리도 팩트에 인사이트를 부여하는 일을 남겨두고 있다.
5. 인사이트 부여
여기서 이야기하려는 인사이트는 뭔가 엄청난 파장을 가지고 올 정도의 파급력 있는 그런 선언문이 아니다. 오히려 텍스트 데이터를 이리저리 구조화하다 보면 자신도 모르게 문자 데이터에 매몰되어 현실과의 연결고리를 망각하고 있을 가능성이 있다. 즉, 필자가 생각하는 인사이트를 부여하는 과정이란, 잠시 한 발짝 뒤로 물러나 앞서 잘 정리해놓은 패턴화 된 사용자 VOC들을 보며 그것들이 현실세계에서 어떤 의미를 가지는지를 상식선에서 재해석하는 과정이다.
"탄산음료를 섭취하는 상황은 주로 게임을 하는 상황이며, 그때 섭취하는 이유는 심심함을 달래기 위함입니다"
이것은 단순히 우리가 잘 정리해놓은 팩트 데이터를 낭독하는 것밖에 되지 않는다. 여기에 다음과 같은 해석이 추가되는 것이 보다 인사이트에 가까울 것이다. (물론 의미 전달을 위한 가상의 예시이므로, 실질적인 의미는 없다)
"한창 몰입감 있게 게임을 하다가도 중간중간 쉬는 시간이 있기 마련이다. 그 찰나의 심심함을 달래고 몰입감을 유지하기 위해 청량감 많은 탄산음료를 찾는 것으로 보인다. 즉, 탄산음료를 통해 조금 더 게임과 연계된 경험을 느낄 수 있게 해 준다면, 소비자들이 의미 있게 반응할 거라 생각이 된다. 따라서 요즘 제일 유명한 게임과 콜라보를 진행하여 게임 캐릭터가 입혀진 패키지 디자인을 출시하는 것을 생각해 볼 수 있을 것 같다"
'소비자가 어떤 상황에서 탄산음료를 마시는지' 그 자체로는 그다지 별로 의미가 크지 않다. 하지만 그 섭취 상황이 현실세계에서, 그리고 당장 기획하고 있는 현안과 어떤 식으로 연결이 되고, 그로 인해 도출된 결론은 무엇인지까지 종합적으로 고려했을 때 데이터는 비로소 인사이트가 된다.
그 산업의 도메인 지식, 마케팅이나 소비사 행동 이론 등과 같은 배경 지식이 많을수록 부여할 수 있는 인사이트의 질은 더 정교해지고 공감대를 불러일으킬 수 있게 된다. 따라서 마케팅/유저 리서처는 언제나 소비자 행동 심리와 관련된 지식을 끊임없이 배우고 학습할 필요가 있다.
6. 도식화 (필요시)
우리는 모든 인터뷰에 대한 녹취와 구조화, 분석을 마친 후 인사이트까지 부여한 완성된 조사 결과를 도출해 내었다. 이 시점에서 조사 결과는 두 가지 형태를 가지게 된다
1. 워드 문서 보고서
2. PPT 보고서
워드 보고서와 PPT 보고서의 가장 큰 차이는 인사이트들이 얼마나 도식으로 표현되어있는지 여부이다. 글로 전달하기에 내용이 너무 복잡하거나 방대한 경우, PPT를 활용한 도식화 작업을 통해 내가 전달하고자 하는 인사이트를 훨씬 더 직관적으로 표현하는 것이 가능하다.
글로 가득 찬 왼쪽 보고서와, 같은 내용을 시각적으로 훨씬 더 직관적으로 도식화시킨 오른쪽 PPT 보고서도식화 작업을 하려면 다양한 도식 디자인 템플릿 등에 친숙해질 필요가 있다. 디자이너 수준의 디자인 스킬이 요구되는 것은 아니고, 단지 정보 로직을 시각화하는 데 있어 자주 사용되는 도식들만 숙지하고 있으면 훨씬 더 직관적이고 설득력 있게 내가 도출해낸 인사이트를 전달할 수 있을 것이다.
다양한 도식화 양식들에 친숙해지는 것이 중요하다사용자 조사에서 가장 높은 역량을 요구하는 분석 과정에 대해 알아보았다. 여기서 결과보고서를 메일로 송부하는 것으로 종료되는 조사도 많다. 하지만 간혹 클라이언트 측에서 PT를 요구하는 경우도 있고, 특히 인하우스 리서처의 경우라면 이다음 단계인 '조사 결과 전파'라는 매우 중요한 단계가 남아있다. 아무도 먹지 않는 음식을 열심히 만드는 것이 무의미하듯, 전파되지 않는 조사 결과는 그 가치를 제대로 발휘했다고 보기 어렵다.
[사용자 조사를 해보자] 시리즈의 마지막 회, 조사 결과 전파하기를 다음 편에 알아보도록 하자.
