인터뷰 설계부터 분석까지 스마트하게 하는 방법
두근두근 CBT 유저 인터뷰 프로젝트
목차
1. 나무가 아닌, 숲을 먼저 봐야 한다.
2. 인터뷰 설계 시, 답해야 하는 질문들
3. 나만의 인터뷰 노하우
4. 인공지능과 휴먼지능으로 정성 데이터 분석하기
5. 인터뷰 결론 내리기
투두몰은 전문가가 자신의 경험을 담은 투두리스트 형식의 클래스로 제작해 제공하는 서비스다. 앱 안에선 투두 클래스를 제공하는데, 하나의 클래스를 모두 완수하기까지 대략 2주 정도 시간이 걸린다. 바꿔 말해, CBT 런칭 시작 직후, 유저가 서비스를 충분히 체험하기까지 3~4주를 기다려야 했다. 10월 중순, 투두몰의 클로즈 베타를 시작했고, 최근에 클로즈 베타 테스터의 인터뷰를 완료했다. 인터뷰 설계부터 정성 데이터 분석까지 전반적인 경험을 회고할 겸 정리해본다.
두근두근 CBT 인터뷰 프로젝트나무가 아닌, 숲을 먼저 봐야 한다.
1. 모든 액션의 시작, Why
모든 액션에는 "Why"가 선행돼야 하며, 이는 인터뷰도 마찬가지다. 인터뷰를 진행하기에 앞서서 (1) 인터뷰를 왜 진행하고, (2) 무엇을 알고 싶은지를 명확히 정의해야 한다. 해당 부분이 명확할수록, 인터뷰의 진행 방향이 명료해지고, 팀원들도 같은 그림을 그릴 수 있다.
8월 MVP 테스트 결과로 "유저가 겪는 문제"와 "유저에게 제공해야 하는 핵심 가치"를 정의했었다. 문제의 정의는 모두가 납득했지만, 핵심 가치는 다시 한번 재검증이 필요했다. 따라서, 인터뷰의 목적을 클로즈 베타 테스트를 사용한 유저가 우리가 정의한 핵심 가치를 추구했는지 검증하는 것으로 삼았다.
목표를 정의할 때, 이 목표를 판단할 수 있는 기준을 함께 적는 편이며, 이때 "프로젝트가 끝났을 때, 어떤 상황이 펼쳐 칠까?"를 생각하며 정의한다. 그리고 문서의 최상단 부분에 목표와 판단 기준을 적어놓고, 계속 뒤돌아보면서 액션의 큰 방향성이 어긋나지 않도록 되새긴다.
프로젝트 문서의 <목표> 부분2. Why를 실현하는 법, How
Why만 정의하고, How를 신경 쓰지 않으면 탁상공론에 그친다. How도 무작정 들이받기보다는 각 팀원이 어떤 업무를 주로 리드할 것인지를 명확하게 해야 한다. 그리고, 각 팀원이 맡은 일이 어떻게 연결될지를 고민해야 한다. 이를 고려하지 않으면, 주어진 자원 중 상당수가 조정 비용으로 낭비될 수 있다.
따라서 배경과 목표가 정의되자마자, 구체적인 액션 플랜을 세워야 한다. 플랜이 구체적일수록, 모두가 같은 그림을 그리기 쉬워진다. (1) 어떤 작업이 필요하고, (2) 해당 작업은 어떤 팀원이 맡을지 생각하며 (3) 특정 업무가 언제까지 완료돼야 하는지 서로 동기화해서, 같은 그림을 그릴 수 있어야 한다.
프로젝트의 문서의 <액션 플랜> 부분인터뷰 설계 시, 답해야 하는 질문들
1. 누구를 인터뷰할 것인가?
구체적인 액션 플랜이 짜였으면, 가장 먼저 누구를 인터뷰할지 고민해야 한다. 이때, 가장 먼저 생각해야 하는 부분은 "인터뷰의 목적과 얼라인 되는 인터뷰이는 누구인가?"다. 목적과 맞지 않은 대상을 인터뷰한다면, 목적을 정의한 이유도 없을뿐더러 인터뷰에서 얻은 데이터가 잘못된 인사이트를 전달할 수 있다. CBT 인터뷰의 목적은 서비스를 실제로 사용한 유저가 느낀 핵심 가치를 알아내는 것이다. 따라서 (1) 서비스를 실제로 사용해보고, (2) 만족감을 느낀 분들을 대상으로 인터뷰를 진행해야만 한다.
인터뷰를 설계할 때, 한 세그먼트의 최소 모수가 5명 이상이면 좋다. 5명 이상부터는 알아낼 수 있는 인사이트의 효용이 리소스 대비 적어지기 때문에, 최소 5명을 목표로 하면 좋다. 이때, "한 세그먼트"를 기준으로 해야 한다. 각각의 세그먼트는 서로 다른 패턴을 지니는데, 이들을 하나의 동질 집단으로 놓고 본다면? 공통 패턴을 찾을 수 없기에 별다른 인사이트를 얻을 수 없게 된다.
각 세그먼트를 정의할 때, 객관적이고 구체적인 기준을 잡아야 한다. 기준이 모호하면, 세그먼트의 분류가 명확하지 않게 된다. CBT 인터뷰이를 "성공자"와 "실패자"라는 세그먼트로 나눴고, 아래와 같은 기준을 정의해서 연락을 돌렸다.
성공자 세그먼트
1. 클래스에서 제공하는 미션을, 모두 사진으로 인증했다.
2. 인증한 모든 미션의 사진이 주어진 미션과 일치해야 한다.
실패자 세그먼트
1. 클래스에서 제공하는 미션을 최소 1개 이상 사진으로 인증했다.
2. 마지막 미션을 인증하지 못했다.
3. 인증한 모든 미션의 사진이 주어진 미션과 일치해야 한다.
2. 무엇을 질문할 것인가?
인터뷰이가 선정되면, 이들에게 "무엇을 질문할 것인가?"를 답해야 한다. 이때, "무엇을 질문할까?"보다 "무엇을 알아내고 싶은가?"가 먼저 선행돼야 한다. 질문 문항은 내가 알고 싶은 부분을 알게 도와주는 '수단'이며, 여기서 핵심은 '내가 알고 싶은 부분'이다. 즉, 질문 문항은 알고자 하는 바로부터 파생돼야 한다.
우리가 알고 싶은 부분은 "유저가 어떤 핵심 가치를 느꼈는가?" 즉, 핵심 가치 가설의 검증이다. 이 가설을 기준으로 두고, 다양한 질문을 해볼 수 있다. 기존 경쟁사와 비교해서 물어볼 수도 있고, 서비스를 사용하는 과정에서 느낀 생각을 물어볼 수 있다.
(알고자 하는 부분) 유저가 어떤 핵심 가치를 느꼈는가?
(질문 1) "기존의 온라인 강의와 비교했을 때, 투두몰의 장점은 무엇이라고 생각하나요?"
(질문 2) "첫 투두를 따라 하면서, 어떤 느낌이 들었나요?"
3. 어떻게 질문할 것인가?
가설에 대한 질문을 할 때, 인터뷰이가 예/아니오식의 답이 아니라, 이유를 답하게 만들어야 한다. 예를 들어보자. 검증하려고 한 가설로 "유저는 무엇인가를 배울 때, 기존의 영상 기반 학습은 지루하다고 느낄 것이다."가 있다고 해보자. 그러면 아래와 같은 질문을 할 수 있다.
(검증 가설) 유저는 무엇인가를 배울 때, 기존의 영상 기반 학습은 지루하다고 느낄 것이다.
(질문 1) "영상 강의는 지루하다고 느끼시나요?"
위 질문은 인터뷰이가 "예", "아니요"라는 답을 할 수밖에 없게 만든다. 인터뷰는 정성 데이터를 수집하는 방식으로 "왜?"를 알아내기 위해 쓰인다. 단순히, Yes or NO의 답을 알고 싶다면, 정량 데이터가 더 효과적이며, 인터뷰에서는 유저가 질문에 대한 이유를 답할 수 있게 만들어야 한다.
또한, 인터뷰에서 주의해야 할 부분으로 알고자 하는 부분에 질문이 매몰되면 안 된다. 이번에는 질문을 아래처럼 해본다고 하자.
(검증 가설) 유저는 무엇인가를 배울 때, 기존의 영상 기반 학습은 지루하다고 느낄 것이다.
(질문 2) "영상 강의는 왜 지루하다고 생각하시나요?"
위 질문은 앞선 질문보다 "왜?"를 물음으로, 그나마 괜찮다. 하지만, 여전히 부적절한 질문이다. 왜냐하면, 이 질문은 "영상을 보는 방식이 지루하다."를 단정하고 있기 때문이다. 이 질문을 들은 순간부터, 인터뷰이는 기존 영상 강의는 지루하다는 프레임을 가지고, 생각할 수밖에 없다.
따라서, 질문을 할 때는 열린 형식으로 천천히 접근하는 게 좋다. 열린 질문으로 시작해서 유저의 대답이 생각한 바와 얼라인 되는지 확인하고, 질문의 큰 방향을 조절해 가는 게 좋다.
(검증 가설) 유저는 무엇인가를 배울 때, 기존의 영상 기반 학습은 지루하다고 느낄 것이다.
(질문 3) 영상 강의의 가장 큰 문제는 무엇이라고 생각하나요?
('지루함'이라 답한다면) 핵심 가치 가설이 참이므로, 더 좁혀본다.
(후속 질문) "어떤 부분에서 지루하다고 생각하세요?"
('지루함'이라 답하지 않는다면) 핵심 가치 가설이 거짓이다. 무엇을 원하는지 알아보는 질문을 한다.
(후속 질문) "XXX 부분을 느낀 이유는 무엇인가요?"
4. 어떻게 질문이 흘러갈 것인가?
설정한 질문 문항을 반드시 따르기보다, 유동적으로 대응할 수 있도록 질문 흐름을 설계하면 좋다. 유저가 어떤 질문에는 어떻게 대답을 했는지에 따라 다음 문항을 스킵하고, 뒤의 질문에 나올법한 답이 앞에 나오면 같은 질문을 피하면 좋다. 만약 동일한 답을 요구하는 질문이 계속 반복되면, 인터뷰이를 지치게 만들고 인터뷰이 자체가 확증 편향을 갖게 만든다. 질문 흐름을 설계할 때, "무엇을 알아내고 싶은가?"를 생각하며 큰 결의 흐름을 정하는 게 좋다.
나만의 인터뷰 노하우
1. 이성과 감성, 모두 챙기자
인터뷰를 시작할 때, 이 인터뷰의 배경과 목적을 언급해야 한다. 인터뷰 자체가 전혀 연고도 없는 분을 대상으로 진행하기에, 인터뷰이 입장에서는 처음 보는 사람과의 인터뷰가 부담이 될 수 있다. 또한, 이 인터뷰가 정말 적절하게 사용되는지 의구심이 들 수 있다. 사이비가 아닐까 생각할 수도...? 따라서, 이 인터뷰를 진행하게 된 배경과 인터뷰의 목적 등을 언급해 이성적으로 납득을 시켜주면 좋다.
우리는 자신이 다른 사람에게 도움이 된다고 생각하면, 큰 만족감을 갖는다. 배경과 목적을 언급하면서, 이 인터뷰가 팀에게 얼마나 큰 도움이 되는지 이야기하면 좋다. 이런 말 한마디가 상대방의 기분을 좋게 한다면, 이것만큼 큰 ROI가 있을까?
XXX님이 오늘 바쁜 시간을 내주셔서 와서 감사하다는 말씀을 먼저 드리고 싶습니다. 향후 OBT에 더 좋은 서비스를 만들기 위해 CBT에 참가한 분의 이야기를 들어보고자 연락을 드렸습니다. XXX님의 이야기가 저희 서비스의 개선과 발전에 큰 도움이 될 것 같습니다.
2. 라포에 계속 신경 쓰기
앞서 말했듯, 인터뷰는 인터뷰이 입장에서 부담스러운 자리다. 전혀 연고가 없는 사람 앞에서 자신의 이야기를 하는 게 쉬운 일은 아니다. 물론 극한의 E 성향 사람들은 제외 따라서, 인터뷰이가 자신의 생각을 부담 없이 말할 수 있도록 라포를 쌓고, 편안한 분위기를 만들도록 신경 써야 한다. 누구나 할 수 있는 라포 쌓기 방법으로 (1) 인터뷰이의 말에 고개를 끄덕이며 반응을 보이거나, (2) 인터뷰이가 한 말을 다시 정리해서 말해주는 게 있다. 물론, 라포를 쌓기 위해 과하게 동의하는 반응을 보여서, 인터뷰이가 확증 편향을 하지 않도록 주의해야 한다.
편안한 분위기... 무릉도원이세요?3. 침묵하지 않기
낯선 사람끼리 모인 자리에서 생긴 침묵은 마음을 불편하게 하고, 속을 답답하게 만든다. 소개팅 자리에 쌓이는 침묵만 생각해본다면... 물론 인터뷰이의 이야기를 듣고 고민을 하다가, 나도 모르게 침묵을 할 수도 있다. 다만, 침묵이 펼쳐친 상황에서 '나'와 '인터뷰이', 각각이 받아들이는 심리적 부담감은 전혀 다르다. 따라서, 인터뷰 과정에서도 침묵은 일어나지 않도록 신경 써야 한다. 인터뷰 이전에 설계한 질문 흐름은 이런 경우에 큰 도움이 된다. 인터뷰이의 예상치 못한 답변이 나와도, 설계한 질문 흐름을 참고해서 유동적으로 대응해 침묵을 줄일 수 있다.
침묵이나 먹어라! 4. 1명은 기록을, 1명은 질문을
인터뷰어는 2명이 참가하는 게 좋다. 인터뷰어로 1명만 참가한다면, (1) 질문을 하고 (2) 질문의 응답을 기록하기까지 해야 한다. 더군다나, 예기치 못한 경우가 발생하면, (2) 질문의 응답을 기록함과 동시에 (3) 새로운 질문을 바로 생각해야 해서 유동적으로 대응하기 어렵다. 반대로 2명보다 훨씬 많다면, 오히려 인터뷰이 입장에서 부담을 느낄 수 있다. 자신 혼자서 인터뷰를 하러 왔는데, 3~4명이서 우르르 몰려 앉은 상태는 흡사 압박 면접을 하는 느낌을 받을 수 있다.
물론 질문의 응답을 자리에서 기록하지 않고, 인터뷰가 끝난 후에 하는 방식이라면 인터뷰어로 1명만 있어도 좋다. 다만, 짧은 시간에 많은 이야기가 오고 간 상태인 만큼, 막상 인터뷰를 기록하려고 할 때 정보가 이미 휘발된 상태일 수 있다. 따라서, 질문을 전담하는 사람과, 기록을 전담하는 사람이 각각 있는 2명이 인터뷰어로 참가하면 좋다.
인터뷰 중에 놓치는 부분도 있을 수 있으므로, 네이버의 클로버로 인터뷰를 녹음하면 좋다. 클로버는 녹음된 내용을 자동으로 텍스트 변환해주는데, 이렇게 정리한 텍스트 데이터를 자연어 처리 방식을 통해 분석해볼 수 있다. AI 만만세!
큭큭 휴먼 이것도 기억 못 합니까?인공지능과 휴먼지능으로 정성 데이터 분석하기
모든 인터뷰를 마치면, 이제 정성 데이터를 분석할 차례다. 이번 인터뷰 데이터는 크게 아래와 같은 방식으로 분석을 진행했다.
1. 키워드 기반으로 비슷한 인터뷰이끼리 그룹화
2. 각 그룹에서 어피니티 다이어그램을 작성해 패턴 추출
3. 추출한 패턴을 활용해 최종 결론 도출
1. 키워드를 활용해 그룹화하기
8명의 인터뷰이를 만났고, 이들 중에서도 공통된 특징을 지닌 그룹이 있을 거란 생각에 먼저 탐색 조사를 진행했다. 탐색 조사의 일환으로 키워드 기반 클러스터링을 진행해, 비슷한 그룹이 존재하는지 파악하기로 했다.
파이썬의 konply와 sklearn 라이브러리를 이용하면 인터뷰이의 응답에서 키워드를 추출하고, 이를 활용해 비슷한 응답을 찾아낼 수 있다. konlpy는 한국어로 적힌 텍스트 데이터를 키워드 데이터로 전처리하는 용도로 사용하며, sklearn는 키워드 데이터를 벡터 데이터로 변환하고, 벡터 데이터를 분석해 비슷한 특징을 가진 그룹끼리 클러스터링하는 용도로 사용된다. 자세한 프로세스와 작성 코드는 아래와 같다.
프로세스
(1) 우선 인터뷰이의 기록지에 저장된 응답을 csv 파일로 저장해서 호출하고
(2) konply를 활용해 각 응답을 품사 단위로 쪼갠다.
(3) 키워드 추출을 위해 명사 품사의 데이터만 추출한 후,
(4) 불필요한 용어를 제거해 최종 응답 데이터를 획득한다.
(5) sklearn을 활용해 명사 데이터를 벡터 데이터로 변환 후
(6) 벡터 데이터를 활용해 비슷한 응답끼리 클러스터링한다.
Konlpy와 sklearn의 작동 원리는 아래 링크에서 더 자세히 확인할 수 있다.
분석 결과, 다음과 같은 덴드로그램이 나타난다. 덴드로그램에서 X축은 각 데이터의 라벨(여기서는 인터뷰이 응답)을, Y축은 각 데이터 라벨 사이의 거리를 뜻한다. 키워드 조사 결과, 크게 2개의 그룹이 도출됐다.
2. 어피니티 다이어그램으로 패턴 알아내기
탐색 조사로 2개의 그룹이 있는 걸 확인했으니, 이제 어피니티 다이어그램을 활용해 각각의 그룹 내 패턴을 찾아낼 차례다. 어피니티 다이어그램은 (1) 각 유저의 응답을 모두 포스트잇에 적은 후, (2) 비슷한 결을 가진 포스트잇끼리 그룹화해서 (3) 패턴과 인사이트를 추출하는 방법론이다. 자세한 방법은 아래 링크를 참고하자.
인터뷰의 응답을 포스트잇에 기록할 때, (1) 각 인터뷰이는 서로 다른 색으로 구분하고 (2) 응답을 '상황/사실/행동', '문제', '니즈'와 '인사이트'로 유형화해 서로 다른 모양으로 구분해 포스트잇으로 피그마에 기록했다. 예를 들어, "온라인 강의에 지루함을 느낀다"는 사각형 모양의 '문제'로, "대중교통을 이용하면서, 가볍게 소비할 수 있는 콘텐츠를 원한다"는 원형 모양의 '니즈'로 기록하는 식이다. 이와 같이 포스트잇을 구분한다면, 데이터의 늪에 빠지는 걸 방지할 수 있다.
모든 인터뷰 기록지의 내용을 포스트잇에 모두 적었다면, 이제 비슷한 것끼리 묶어서 패턴을 찾으면 된다. 이때, 겹치는 포스트잇의 개수가 많을수록, 해당 패턴은 이 그룹에서 뚜렷하게 나타나는 패턴임을 알 수 있다.
3. 그룹 간의 패턴 비교하기
탐색 조사로 2개의 그룹이 있는 걸 확인했지만, 정말 이 두 그룹이 다른지 확인해야 한다. 데이터를 분석할 때는 언제나 돌다리를 두들기고 건너야 한다. 그렇지 않으면, 잘못된 방식으로 데이터를 분석해서 완전히 잘못된 이상한 결론에 도달할 수 있다. 각 그룹에서 도출된 패턴을 서로 비교해, 그룹 간의 (1) 공통점과 (2) 차이점이 무엇인지 확인했다.
비교 결과, (1) 첫 번째 그룹은 대학생을, (2) 두 번째 그룹은 직장인을 대변하는 걸 파악했고, 각 그룹에서 추구하는 바가 서로 다른 걸 확인할 수 있었다. 뿐만 아니라, 전자의 그룹은 우리가 정의한 문제, 핵심 가치와 얼라인이 되는 반면, 후자의 그룹은 그렇지 못함을 확인했다. 즉, 탐색 조사가 적절했던 셈이었다.
이는 당연한 현상일 수밖에 없는 게, 지금까지 팀이 집중해 온 고객 페르소나와 가설은 "대학생"에 속했고, 후자인 "직장인"에 대한 검증은 우선순위가 낮았기 때문이다. 만약, 이 둘을 하나의 그룹으로 두고 분석했다면, 후자의 그룹에 대한 인사이트를 놓칠 수도 있었다.
4. 패턴 사이의 연관성 찾아내기
그룹에서 패턴만 도출했다고 끝이 아니다. 각각의 패턴을 서로 비교하고, 연관된 것끼리 이어서 전체적인 흐름을 읽는 게 중요하다. 어피니티 다이어그램으로 도출한 패턴에는 문제, 니즈, 특징 등 다양한 유형의 정보가 있기에, 이들 사이에 연관성을 발견하고 구체적으로 정의해야 한다. 가장 좋은 방식으로, 공통 패턴에 기반해 페르소나의 시나리오를 그려보면 크게 도움이 된다.
인터뷰 결론 내리기
1. 목적을 잊지 말자
이 글의 첫 부분에도 말했듯, 인터뷰를 진행하기에 앞서서 목적을 명확히 하는 게 중요하다. 모든 분석이 끝났으면, 달성하고자 한 목적을 중심으로 결론을 지어야 한다. 단순히 분석에만 끝나면, 용두사미에 그치는 인터뷰다. 인터뷰를 설계할 때, 정의한 목표는 서비스의 핵심 가치 검증이었다.
프로젝트 문서의 <목표> 부분정성 데이터 분석에서 도출한 인사이트와 유저 페르소나를 두고, 기존에 설정한 가설과 얼마나 맞고 틀렸는지를 분석했다. 그 결과, 2개의 고객군이 존재하며 (1) 우리가 정의한 문제와 핵심 가치에 부합하는 고객군과 (2) 전혀 다른 결의 문제와 핵심 가치에 얽힌 고객군이 있음을 확인했다.
바다에서 고기를 잡기 위해서 넓은 그물이 아닌, 촘촘한 그물을 사용해야 한다. 문제와 핵심 가치가 서로 다른 고객군이 존재한 상황에서, 모든 고객군을 가져가는 건 위험했다. 팀원들끼리 고민 끝에, 더 시장 규모가 큰 고객군에 집중하기로 했고, 바뀐 고객군에 맞춰서 프로덕트 선언문을 업데이트했다.
2. 넥스트 액션은?
우리가 실행하는 모든 액션은 Actionable 해야 한다. 즉, 이번 액션을 끝냈을 때, 다음 해야 할 액션이 명확해야 한다. 인터뷰를 진행하는 이유는 "우리가 알고 싶은 것을 알기 위함"이다. 여기서 칭하는 "앎"이란, "모르는 것을 깨달았다"에 중점을 두면 안 되며, "모르는 것을 깨달았는데, 이제 무엇을 해야 하는가?"가 메인이 돼야 한다.
인터뷰를 통해 고객을 더 명확히 정의할 수 있었고, 덕분에 날카로운 액션으로 빠르게 이어질 수 있었다. 우리의 넥스트 액션은 고객이 진정으로 원하는 바를 담은 새로운 상품의 출시였다. 투두몰에서 이번에 출시한 상품이 궁금하면, 아래 링크를 클릭해보자! 깨알 광고
회사 오피스 툴에 능숙한
일잘러가 되고 싶다면?
