Metrics Versus Experience
정량적 지표와 사용자 경험 사이에서의 고민
이 포스트는 Julie Zhuo의 Metrics Versus Experience를 번역한 글 입니다.
매끄럽지 못한 부분들이 있을 수 있으니 넓은 마음으로 이해 부탁드립니다.
수십년 전의 디자이너들은 좋은 사용자 경험을 만들기 위해서, 심호흡을 한 뒤 눈을 감고 기도를 외며 문득 떠오르는 직감에 의존 했을지도 모른다.
하지만 우리의 조상들이 불의 유용함을 발견했듯이, 우리도 측정과 분석이라는 기법을 익혔다. 어둠속에서 더듬거리던 시절을 벗어나 “내가 격일 간격으로 발송하는 이메일을 얼마나 많은 사람들이 읽고 있지?” 혹은 “이번에 새로 선보이는 신기능을 얼마나 많이 이용하고 있을까?” 화 같은 의문에 대해 숫자 속으로 파고들어가 해답을 구해내고 있다.
아아, 그러나 빛의 뒷편에는 항상 그림자가 존재하는 법. 나는 많은 사람들이 사무실에 늦게까지 남아서 토론을 벌이거나, 일과 후에도 생맥주 한 잔과 함께 논의를 하거나, 격렬한 논박이 이루어지는 쓰레드에 궁서체로 이런 코멘트를 달고 있는 것을 보아왔다.
우리는 단지 정량적 정보를 얻기 위해 일을 하고 있는가?
숫자 지표를 획득하는 것과 의미있는 무언가를 만들기 위한 것 어느쪽에 중점을 둬야 할까?
당신은 데이터 중심적인가 아니면 진심으로 사용자 경험을 중시하고 있는가?
이런! 말도 안되는 상황이라니!
정량적 정보와 좋은 사용자경험의 관계에 대해 보다 생산적인 논의를 하기 위해 그동안 내가 깨달은 방법은 다음과 같다.
문제를 “숫자 대 경험” 의 구도로 바라보지 마라.
두 명의 슈퍼히어로들이 치고박고 싸우는 블록버스터 속의 대결처럼, 문제를 “숫자 대 경험”의 프레임만으로 바라보는 것은 매우 부적절한 대화 방식이다.
만약 당신이 음식의 영양소에 대해 얘기를 해야 하는 자리에서 모든 음식을 “탄수화물 대 건강식”으로만 나누면 신뢰감을 얻지 못하는 것과 같다.
당신이 만든 제품에 대해 여러가지의 정량적 측정을 할 수 있다면, 이를 통해 잠재된 인사이트를 얻는 것은 물론 중요한 것과 그렇지 않은 것에 대한 명확한 분류를 할 수 있을 뿐 아니라, 오히려 정보가 많은 것은 방해가 된다는 주장을 하는 사람들에 대해 반론할 수 있는 기회가 되기도 한다.
제품을 지속적으로 개선시켜 좋은 반응을 얻고 있다면, 장미빛 미래가 그려짐과 함께 자연스럽게 정량적 지표도 동반 상승할 것이다. 하지만 만약 아무런 지표도 바뀌지 않는다면 당신의 제품에 대한 사람들의 생각도 바뀌지 않은 것이다. 즉 다시 말하자면, 당신의 제품 사용율이 줄어든다는 것은 무엇인가 잘못된 결정이 있었음을 반증하는 것이다.
마지막으로, 정량적 정보가 가치있는 세번째 이유는, 팀을 하나로 모을 수 있도록 명확하고 정확한 목표를 제시할 수 있다는 점이다. 단순히 생각해 보더라도, 50여명 팀원들에게 “완전 멋진 사용자 경험을 만들어보자”라는 공통의 목표를 제시하고 모두가 일사분란하게 움직이도록 하는 것은 매우 어렵게 느껴진다. 물론 이와 같은 목표를 팀원들에게 일장연설을 하며 늘어놓으면, 고무된 팀원들은 허공을 향해 주먹을 치켜세우며 “그래! 다 같이 완전 멋진 걸 만들어보자고!” 라고 외칠 것이다. 하지만 얼마 후 “자 봐봐! 완전 멋지지!” 라고 가져온 결과물에 대해, 옆 팀원으로부터 “음. 글쎄. 그냥 그저 그런거 같은데?”라는 반응을 들을지도 모르는 일이다. 자, 이때 누구의 반응이 맞는 것일까? 도대체 “완전 멋진 경험”이라는게 무엇이란 말인가?
이러한 문제를 해결할 수 있는 한가지 방안은, 제품의 품질에 대해 판단할 수 있는 결정권자(혹은 여러명으로 구성된 수직적 결정 체계)를 조직하는 것이다. 하지만 만약 수평적 조직 체계를 구축하길 바란다면, 측정 가능한 목표를 수립하는 것이 대안이 될 수 있다. 이를테면 “완전 멋진 경험이란, 신기능을 사용해본 사람들이 일주일안에 다시 사용하는 비율이 50%를 넘기는 것”이라는 목표 같은 것 말이다. 이제 당신의 팀원들과 옆팀원들까지도 모두가 정확하게 목표를 이해하고, 매일 매일 얼마나 목표에 다가가고 있는지 파악할 수 있다.
정리하자면, 정량적 정보는 유용하게 이용될 수 있으며, high level 측면에서사용자경험과 대립관계에 있는 것 또한 아니다. 스스로 그러한 얘기를 하지 않도록 주의해야 할 것이다.
정량적정보만을 얻기 위해 행해지는 불필요한 일들이 있다.
정량적 정보가 안좋은 결정을 내리는데 이용되는 경우도 있다. 이는 측정가능한 정량적 정보가 모두 유용하거나 의미있는 데이터는 아니라는 것을 의미한다. 혹은 숲을 바라보지 못하는 것처럼, 일부 데이터가 모든 것을 의미한다고 생각해버리기 때문일 수 도 있다. 따라서 전체적인 그림을 이해하기 위해서는 정량적 정보들을 총체적으로 바라보고 해석할 수 있는 능력을 갖추어야 한다.
혹시라도 잘못된 정보를 의도치 않게 입수하여 이를 반영하였다면, 사용자 경험에 해를 끼치는 결과를 가져올 수 밖에 없을 것이다. 몇가지 예시를 살펴보면 다음과 같다.
a) “원래의 클릭율(click-though rate)는 2%에 그쳤었는데, 변화를 가한 이후 클릭율이 5%로 올랐어요!”
무엇이 문제일까? 단순히 클릭율만 가지고 사용자 경험 전체가 나아졌다고 판단할 수 는 없다. 만약 사이트의 모든 링크에 대해 “여기를 클릭하면 $250 을 드립니다” 라고 바꿨다면 어떻게 될까? 분명 클릭율은 매우 가파르게 치솟을 것이다. 하지만 결국 사람들은 $250 을 받지 못할 것임을 깨닫게 되고 실망감만을 느낄 것이다. 그리고는 더이상 링크를 클릭하지 않으며, 앱을 삭제하고, 앱스토어에는 1개의 별점과 함께 온갖 욕설과 비방을 남길 것이다. 결국 나는 망하고 말 것이다.
b) “기존에는 사람들이 평균 5분정도 내 앱을 사용했었는데, 최근 업데이트 이후로는 3분밖에 사용하지 않아요. ㅠㅠ”
무엇이 문제일까? 앱 사용시간이 정말로 중요한 정보일까? 이는 앱의 성격에 따라 다르다.
만약 당신의 앱이 콘텐츠를 제공하는 것이 주 목적이라면, 대답은 ‘그렇다’이다. 왜냐하면 사람들이 당신의 앱을 사용하는 이유는 읽고 보고 듣기 위함이므로, 오랜 시간동안 이용한다는 것은 가치있는 정보를 제공하고 있다는 것을 말하기 때문이다.
하지만 당신의 앱이 일종의 유틸리티 성격을 가지고 있다면 — 예를들면 디지털 문서에 서명을 하도록 도와주는 것이라면 대답은 ‘아니다’이다. 이때는 사용시간 보다는 앱 사용횟수에 대한 정량정 정보를 측정하는 것이 훨씬 가치있는 정보가 된다. 사용자들은 기존보다 더 빨리 서명을 할 수 있다는 것에 대해 만족을 하고 있을 것이며, 이는 당신의 서비스 사용량과 더 상관관계가 있다.
c) “얼마전까지만 해도 우리의 고양이 얼굴 합성 앱을 일리노이에서 가장 많이 사용했었는데, 이제는 오하이오에서 더 많이 사용하고 있어요”
무엇이 문제일까? 이건 고민할 가치조차 없는 문제이다. 불필요한 정량정보를 가지고 시간을 낭비하지 말자.
우리가 쉽고 정확하게 측정할 수 없으나 더 중요한 것들이 있다.
우리가 사용자의 마음을 읽을 수 있다면, 정말로 완벽한 사용자 경험을 제공하는 디자인을 할 수 있을 것이다. 하지만 아쉽게도 우리는 진 그레이가 아니므로, 측정 가능한 지표들을 모아서 사람들의 생각을 추측해야만 한다. 우리는 측정 할 수 있는 정량적 정보들에 한계가 있음을 확실히 기억하고 있어야 한다. 단순히 사용자들을 관찰한다고 해서 절대로 다음과 같은 것들을 말해주지 않는다.
사용자들이 당신의 제품 혹은 특정 기능을 좋아하는지, 싫어하는지 혹은 관심없는지에 대한 정도
제품에 대한 변경점이 신뢰도를 점차 증가시키는지, 감소시키는지에 대한 정도
당신의 제품이 얼마나 쉽고 간편하게 사용할 수 있도록 인지되는가
시장에서 당신의 제품과 경쟁사의 제품이 어떻게 비교되고 있는가
사람들이 무엇을 가장 바꾸거나, 추가하거나, 유지하고 싶어 하는가
시간이 흘러도 사람들이 당신의 제품을 사용할 것인가
위의 질문들 중 일부는 정성적 조사나 설문, 투표 등을 통해 파악해볼 수 있겠으나, 그 어떤 것도 완벽한 방법일 수 는 없다. (Brexit 투표를 생각해보라) 또한 (브랜드 신뢰도와 같이) 정확하게 측정할 수 있는 broad sentiment 라고 할지라도, 어떤 부분이 변화에 영향을 미치는지 파악하기는 매우 어렵다 (예를 들면, 로고나 색상 변경등이 브랜드 인식률에 영향을 줄 것인가? 하는 질문들)
정확한 측정이 어렵다는 것은, 정량적 데이터가 실패의 요인이 된다는 것을 의미한다. 몇 예시를 살펴보자:
1. 복잡도의 비용을 이해하기: 당신의 앱에 신기능을 추가할 때마다, 아마도 평가 지표는 항상 긍정적인 방향으로 나타날 것이다. (이전에는 아무도 X를 사용하지 않았었는데, 지금은 훨씬 많은 사람들이 X를 사용하고 있으며, Y 와 Z 를 덜 사용한다는 징후도 파악되지 않으므로 성공적이라는 결론에 다다른다). 그렇지만 지속적으로 신기능을 추가하게 되면, 어느 순간 앱은 매우 지저분하고 복잡하기만 한 제품(bloated product) 으로 인식될 것이다. 이때 갑자기 혜성처럼 등장한 경쟁자는 “Q가 정말 좋아요! 완전 간단해요!” 라며 새로운 제품으로 시장을 끌어갈 것이다. 선택의 파라독스(paradox of choice) 와 복잡성의 비용(cost of cognitive complexity)은 현실적 문제이다. 우리는 아직 이를 정확히 측정할 수 있는 방식을 알아내지 못했다.
2. 브랜드의 중요성을 이해하기: 애플과 나이키가 새 제품을 발표하면, 사람들을 굳이 정보를 찾아보지 않고서도 제품을 구매하려고 줄을 선다. 왜냐하면 이미 해당 브랜드 제품에 대한 놀라운 경험을 가지고 있기 때문이다. 동등한 새 제품을 Pear나 Sike 와 같은 새로운 짝퉁 브랜드에서 출시한다면 사람들의 반응은 동일하지 않을 것임을 우리는 자명하게 알고 있다. 그렇지만 이와 같은 브랜드의 영향력을 정량화 시켜서 매일매일 측정할 수 있는 수치로 만들기는 쉽지 않다. 회사가 내리는 수많은 결정들이 브랜드에 어떤 영향을 미치는지, 비용과 이윤이 어떠한 상관관계를 가지고 움직이는지 파악하기가 어렵기 때문이다.
3. 중대한 결정의 힘: 성공적 미래를 보장하는 중대한 결정이 무엇인지를 알려주는 지표는 없다. 잠시 2008년의 상황을 되돌아보면, 이제 막 스마트폰이 나타나던 시기였으므로 당신의 웹사이트 방문자중 스마트폰으로 인한 트래픽은 매우 적었을 것이다. 따라서 모바일 전용 페이지를 구축하는데 그다지 신경을 쓰지 않았을지도 모른다. 하지만 오늘날, 미래에 대한 비전과 예측을 통해 모바일에 대한 중대한 결정을 내리고 투자한 사람들은 충분한 보상을 받고 있다. 그 어떠한 시험도 당신이 어떤 방향으로 나가야 하는지 정답을 알려주지 않는다. 전략적, 장기적 계획은 언제나 당신 스스로의 직감을 믿으라는 말을 할 뿐이다.
정량정보 측정을 위한 몇가지 조언들
좋은 목표를 설정하고 측정하기 위한 전략들에 대해 경험으로 부터 습득한 몇가지를 조언해보면 다음과 같다.
- 시장 제품 적합도를 측정하기 위해서는, 재사용율(Retention) 에 주목해야 한다. 당신의 제품이나 신기능 사용에 대한 가파른 상승율만 바라보지 말아라. (이는 당신이 얼마나 공격적으로 홍보를 했느냐에 따라 왜곡되기 쉽다.) 당신의 제품이 얼마나 가치있는지는, 사람들이 한 번 시도해보고 다시 사용하게 되는 재사용율과 가장 밀접한 관련이 있다.
- 최적화를 위해서 깔대기 이론을 이해해야 한다. 사람들이 당신의 제품을 일상적으로 사용하게 되기 까지는 여러 단계를 거치게 된다. 먼저, 당신의 제품을 인지하고 있어야 하며, 둘째, 사용을 시도해볼 만큼 흥미를 끌어야 한다. 셋째, 기존 제품을 대체해야 하며 (다운로드를 받고 개인 정보를 입력하고 이메일 확인을 받는 등의 과정), 넷째, 얼마나 실생활에 도움이 되는지를 파악할만큼 충분히 사용해야 한다. 다섯째, 제품을 다시 사용해야 한다. 이상의 단계를 거칠때마다 사용자들의 숫자는 분명 줄어들게 된다. 만약 각 단계별로 사용자 수를 측정할 수 있다면, 어느 부분을 중점적으로 두고 수정을 해야 빠져나가는 사용자들을 붙잡을 수 있을지 알아낼 수 있을 것이다.
- 어떤 정량정보가 가장 중요한지를 파악하고, 그에 집중해라. 모든 측정 가능한 정보들을 파악하고 분석하며, 보드에 숫자를 가득 채워넣고 녹색 신호등만 켜지도록 관리 하는 것은 꽤나 일을 잘하는 것처럼 보인다. 하지만 몇개의 정보를 제외하고 대부분의 정보는 무의미하다는 것을 직시해야 한다. 중요치 않은 정보들을 분석하고 수치가 오르내리는 것을 바라보며 시간을 낭비하는 짓을 하지 말아야 한다.
- 가장 적합한 정량 정보가 무엇인지를 파악하기 위해서는 마법봉 기법을 이용해라. 스스로에게 다음과 같은 질문을 해보자: “나에게 마법봉이 있어서, 전세계 모든 사용자들의 마음을 알아낼 수 있다면, 내 앱에 대해서 무엇을 물어봐야 할까?” 현실적으로 측정 불가능한 정보라 할지라도(예를들면, “내 앱이 유용한 정보를 추천해 주고 있는가?”와 같은 질문), 이것이 하나의 좋은 시작점이 될 수 있다. (“그래, 모든 사용자들한테 물어볼 순 없겠지만, 내 앱에서 제안한 추천 정보가 유용하다면 사람들은 더 많이 공유하고 더 많은 시간을 소비할꺼야… 그래서 이렇게 저렇게…)
- 정량정보는 충분히 넓게 바라보고 받아들여라. 정말로 정말로 여러번 강조하고 싶은 말이다. 당신과 당신의 팀이 설정한 목표는 제품 방향에 큰 영향을 끼치므로, 매우 심사숙고해야 한다. 수치 목표를 보이는 그대로 받아들이지 않도록 해라. 그리고 왜냐고 물어봐라. 팀원들이 센스를 발휘하는지 주의깊게 살펴보고, 어떠한 행동들이 그들을 자극시키는지 파악해라. 좋은 결정을 내렸지만 지표는 바뀌지 않는 상황이 생기지는 않는가? 혹은 반대로 지표는 좋아지고 있지만 시장 반응이 좋은지 불확실한 것이 있는가? 만약 그렇다면 실제로 영향을 받는 더 정확한 지표가 있는가?
- 반대지표를 이용해서 데이터를 비판적으로 수용하라. 아무리 수치 정보가 긍정적인 결과를 보여준다고 할지라도, 다음과 같은 질문을 스스로에게 해야 한다. “현재의 결과가 그다지 좋지 않다는 것을 증명하는 또다른 데이터는 없을까?” 이러한 정량정보를 countermeterics 라고 부르며, 모든 성공적인 정량지표는 이를 가지고 있다. (예를들어, 초기 시장 반응 이후의 결과를 살펴보지 않고 클릭율을 신뢰하지 말아야 하며, 반품 및 취소 비율을 살펴보지 않고서 판매량만을 바라보지 않아야 한다.) 데이터를 꼼꼼하게 해석하려는 노력을 해야 빨리 실수를 파악하고 전략을 수정할 수 있다. 당신의 직관이 옳다는 것을 보여주는 지표만을 찾아다니며 잘못된 판단을 숨겨주는 덫에 빠지지 않도록 주의해야 한다.
- 이유를 찾고싶거든 정성적 조사를 해라. 사람들이 무엇을 했는지를 말해주는 정량적 데이터 정보는 사람들이 무엇을 느꼈는지를 파악하게 해주는 정성적 조사 정보와 함께 있을 때 힘을 발휘한다. 사용성 검증 및 심층그룹인터뷰, 설문조사 등을 수행해서 사람들의 심연에 무엇이 잠재되어 있는지, 이유를 파악할 수 있다.
이 글은 Medium에도 함께 올리고 있습니다.
https://medium.com/@zzzaam/번역-metrics-versus-experience-e595678d3b64#.kii65xf5j
