by
Jan 15. 2023
만족도 4.0이면 우리 제품을 좋아한다는 뜻 맞죠?
아뇨..
얼마 전, 특정 기능에 대한 고객 경험을 알고자 리서치를 하나 진행했고 중간 결과로 해당 기능에 대한 평가 서베이결과가 나왔다. 그 중 한 항목에 팀원 한 명이 질문을 던졌다.
성배님, 이 질문에 대한 평균 점수가 5.0 만점에 X.X점인데요, 그러면 이게 무슨 뜻일까요? 고객이 이 기능이 출시되면 잘 쓴다는 건가요?
이렇게 답했다.
글쎄요? 그건 모르죠. 5.0 만점에 5.0점이든 4.0점이든 3.0점이든 점수 자체로는 의미가 없죠. 점수가 높은 기분이 좋다는 정도?
‘4.0점’이 무슨 의미인지 알려면 정보가 더 필요하다. 지금 운영하는 리서치 팀, Insight 팀은 Mixed Methods를 추구하기 때문에 서베이 하나로 리서치를 마무리하지 않았다.
1. 탐색적 연구로 기능의 평가 기준, 가설을 도출하기
2. 고객들에게 서베이로 평가를 요청함과 동시에, 그들의 행동을 기록해서 행동 패턴을 분석하기
3. 추가 인터뷰를 통해 그들의 행동에 뒷받침된 이유를 알아내기
이러한 작업을 마친 후에야, 우리 고객이 어떤 사람들이고, 어떤 생각을 하며, 그것이 우리가 해결하려는 문제와 어떻게 맞닿아있는지 정리해서 리서치를 마무리지었다.
최근엔 ‘평가적 설문조사나 NPS 측정, 혹은 A/B 테스트’에 리소스를 대부분 쓰는 팀을 한 둘 알게 되었다. 그래서 너무 서베이를 소홀히 하고 정성적인 부분을 많이 건드렸나..? 하는 고민을 한동안 했다. 리서치팀을 운영하면서 ‘정량적 평가’ 단독으로 리서치를 진행해 본 적이 한 번도 없었기 때문이다. 그리고 얼마 전 미디엄에서 완전 완전 공감을 일으키는 아티클 <Stop dividing generative and evaluative research>을 하나 읽었다. 부분 인용하자면..
UX research is a strange thing, being divided into “generative” and “evaluative” studies, the former conducted ideally early in product development, the latter further along in the process. This has never made sense to me. In what other kind of research would we endeavor to test concepts without learning new things about the problem we were studying?
I don’t think this distinction serves us well as researchers or designers. Every single study we do should generate new insights about the people we study and allow us to refine our understanding of the problems our products are trying to solve.
A note on why I don’t see a lot of value in rapid qualitative testing methods: .. They test such limited pieces of work that the learning is thin and the takeaways disposable, which leads to having to repeat them with every iteration and falling into a cycle of never having time to do generative work. .. (생략)
UX리서치는 흔히 생성적 연구(generative)와 평가적 연구(evaluative)로 분류되고 전자는 사업 초기나 신사업에서, 그리고 후자는 제품이나 서비스 출시 후에 하는 연구에서 진행된다고 한다. 그러나 이러한 접근은 우리에게 도움이 되지 않는다. 모든 리서치는 생성적(Generative) 인사이트를 도출해야 하며, 우리가 해결하려는 문제에 대한 새로운 통찰과 이해를 더할 수 있어야 한다.
Rapid 한 정량적인 테스트로 얻을 수 있는 배움은 얇고 적다. 테스트를 반복하거나 조건이 바뀌면 일회성 지식이 되기 때문이다. 또한 생성적 리서치를 할 기회를 잃게 된다.
당장 인터넷에 ‘UX리서치의 종류’ 같은 키워드로 검색을 하면 열에 여덟은 같은 이야기를 한다. 신사업과 제품출시 이후에는 생성적 연구 혹은 탐색적 연구를 하고, 그 후에는 평가적 리서치를 한다고. 나도 뭔가 디자인을 처음 배웠던 때에는 그렇게 알고 있었던 것 같다. 그런데.. 왜 그래야 하는가? 초기에는 에스노그래피를 수행하고 출시 후에는 UT 위주로 리서치를 진행해야 할까?
신사업(혹은 제품 초기)이냐 아니냐에 따라 리서치를 다르게 수행하는 것은 난센스라는 생각이 든다. 왜냐하면 리서치의 본질적 목적은 ‘고객에 대한 배움’ 이기 때문이다. 설문조사나 A/B테스트, UT가 불필요하다는 이야기가 아니라. 그 속에서 고객에 대한 ‘생성적 인사이트’를 얻아야 한다는 뜻이다.
‘서베이 점수가 5.0이다’, ‘A/B 중에 뭐가 더 좋다.’는 결론 자체는 배움이 없다. 나는 애플의 인터페이스에 대해 거의 모든 부분에서 삼성 One UI보다 높은 점수를 줄 테지만, 10년째 갤럭시 시리즈를 쓴다. 특정 버튼이 더 전환율이 높다는 사실 자체는 그저 버튼 몇 개만 추가되거나 레이아웃이 바뀌면 낡아버리는 지식이 된다.
물론 리서치의 결과로 중 하나로 A안 B안 중에 하나를 고르거나 A안에 대한 평가를 할 수 있다. 그러나 리서치의 가치는 그로 인해 배운 점, 그러니까 우리가 A안을 선택하게 된 ‘이유’ 즉 고객이 가치를 두는 생각과 행동에 있다.
나는 출시가 한 참 지난 제품에도 ‘고객에 대한 이해’가 부족하다고 느끼면 다이어리 스터디나 에스노 그래피를 메인으로 진행하기도 했고, 반대로 출시 이전이지만 ‘고객이 니즈를 해소하기 위해 어떤 멘털모델을 가지고 있는지’ 알기 위해 UT를 했다.
생성적 인사이트를 좋아할 수밖에 없는 이유는 단순하다. 두껍고, 오래가기 때문이다. 그것이 정량적 데이터로 도출되었든, 정성적 데이터로 도출되었는지는 중요한 것이 아니다. (이것은 수단이기 때문이다) 어떠한 경우에도 리서치의 ‘결과’는 고객에 대한 배움, 우리가 푸는 문제에 대한 통찰로 이어져야 한다.
나는 리서치 마칠 때, 두 가지 질문에 맞춰 내용을 정리한다.
이 리서치로 고객에게 배운 점은 무엇인가요? 혹은 고객의 어떤 문제를 해결해 주나요?
이게 우리가 사업목표를 달성하는데 어떤 의미를 있나요?
이렇게 요약한 내용을 갈무리해서 <고객에 대한 배움>을 모아놓은 페이지를 만들어두고 팀원 모두가 접근할 수 있는 문서로 공유하고 월별로 업데이트한다. 이 문서에는 두 가지 장점이 있다.
구성원이 ‘나의 일’에 의미가 있는 정보를 알 수 있다. 사람들은 리서치에 무슨 방법론을 썼고, 어떤 분석 방법을 썼는지 궁금해하지 않는다. ‘내가 알고 있는 것을 다 알려주고 싶은’ 리서처의 욕망을 절제해주기도 한다.. ㅎ
구성원이 가급적, 오래 변하지 않는 팀 고유의 지식을 다룬 게 된다. What이 아닌 Why에 대한 답을 적어두기 때문이다.
