'데이터' 중심 디자인에 대한 미신들
[번역][Data][UX Design] Data-driven Design
이 글은 UX Magazine, Pamela Pavliscak이 작성한 "Six Myths about Data-Driven Design"을 번역한 글입니다.
많은 사람들이 데이터 주도형 디자인(data-driven design)에 열광하지만, 데이터 주도형 디자인에 대한 의견은 분분하다. 같은 조직 내에서도 서로 다른 데이터 접근법과 이해, 특히 공통적언어(shared language)가 부족한 팀에게는 어떻게 데이터를 정의하느냐도 어려운게 실정이다. 어느 사이트/앱이나 Analytics, A/B tests, surveys, intercepts, benchmarks, scores of usability tests, ethnographic studies, interviews를 갖는 것은 일반적라고 할 수 있다. 그래서 과연 무엇이 ‘데이터’라고 불리는가? 그리고 더 중요하게는, 어떤 데이터가 더 의미있는 디자인을 만들 수 있을까?
데이터 주도형 디자인을 이해하기 위해 무엇이 데이터 주도형 디자인이 ‘아닌지’부터 시작해보는건 어떨까? 결국 데이터가 어떤 방법으로 사용자 경험을 개선시킬 수 있을 것인지에 대해서도 깨닫는데 도움을 줄 것이다.
Myth 1. 데이터는 숫자이다
수많은 웹/앱의 데이터들은 analytics형태로서 누가 당신의 웹사이트에 왔고, 어떻게 왔으며, 얼마나 머물렀고, 또 무엇을 누르고 탭했느냐에 대한 기본적인 기록에 대한 것이다. 반면 어떤 데이터들은 얼마나 많이 A버튼과 B버튼을 눌렀는지에 대한 계수이다. 그 다음 Intercepts 와 숫자가 매겨진 응답이 담겨있는 설문이 있다. 여전히, 더 많은 계수이다.
숫자는 ‘진짜’ 사람들의 복잡한 생활 속에서의 행동을 나타낸다. 하지만 백만명의 사람들의 패턴을 하나의 숫자로 집결시키는 것은 항상 유용하거나 신뢰할 수 있지만은 않다. 가장 잘 정리된 숫자들 (organized set of numbers)마저도 우리가 사용자 경험에 대해 가지고 있는 수많은 질문들을 답해줄 수 없다 – ‘왜’ 사람들이 그 액션을 취했는지, 왜 그 액션을 취하지 않았는지, 어떻게 생각하는지, 어떤 기대를 갖고 있는지 같은 질문들 말이다. 수치 자료에서 오는 갭들은 인터뷰, Ethnographic studies, Usability Test가 채워준다. 하지만 정성적인 인사이트는 숫자가 아니기 때문에, ‘데이터’로 여겨지지 않곤 한다.
여기서 알아야 할 점은, 다른 사회과학이나 의학분야에서는 당연 ‘정성적’인 요소들이 당연히 데이터로 여겨진다는 것이다. 작은 숫자나 Thick Data (번역 설명: 정성적, ethnographic 리서치를 통해 사람들의 감정, 스토리 등을 발견하는 것)도 중요하게 고려된다 – 서술적이든 정량적이든, 상관없이 말이다.
Myth 2. 데이터는 객관적인 진실이다
정량적 데이터는 완료된 액션을 숫자로 기록하고, 이런 기록은 사람이 아닌 소프트웨어가 작성한다. 이는 정량적 데이터를 확실한 정보(hard fact)처럼 보이게 만든다.
하지만 아무리 데이터가 크다고 하더라도 객관적이라는 뜻은 아니다. 어느 데이터세트나 바이어스(Bias)는 내제되어있다. 데이터세트가 아무리 기계에 의해 숫자화 되었다고 해도 결국 인간에 의해 그것이 해석되고 의미가 부여된다.
신호 편향 (Signal bias) - 누락, 포함, 강조 – 는 일반적인 왜곡에 속한다. 특히 빅 데이터에 있어서는 더 그렇다. 예를 들어 소셜 미디어에서의 데이터는 트위터나 페이스북의 특정한 hashtag를 사용하는 사람들처럼 인구의 일부만을 대변한다. 이처럼 연구에 있어 참여할 의사가 있는 소수의 일부만이 전체 인구를 대표하곤 한다.
다른 바이어스는 하이젠베르크(Heisenberg)의 ‘불정확성 원리’와 같이 단순히 ‘관찰’당한다는 사실만으로도 결과가 바뀌는 것이다. 환경이나 진행자가Usability Test나 행동에 있어서 얼마나 중립적인지에 상관없이 ‘관찰’이 시작되면 행동도 달라지게 된다. 아주 소수의 연구만이 (contextual 이나 ethnographic studies마저) 온전히 유저에게 달려있다. 이는 설문조사나 인터셉트같은 정량적인 연구에서도 마찬가지로 우리는 그저 질문함으로서 경험을 특정 방향으로 프레임짓기도 한다.
게다가 사람과 접촉하지 않는 온라인 연구와 유저가 진행자나 다른 유저와 교류하며 하는 in-person 연구를 비교해본 결과, 우리는 다른 제 3자가 개입됐을 때에 앱이나 웹사이트를 상당히 더 긍정적으로 평가하는 것을 발견했다. 이는 그들이 무엇을 말하느냐, 어떻게 평가하느냐, 무엇을 하거나 시도하느냐에도 영향을 미치게 된다. 이를 “nice factor”라고 부른다. 크던 작던, 완벽한 데이터는 없다. 어떤 종류의 데이터든지 한계나 왜곡은 존재한다. 따라서 좋은 데이터는 어떤Bias가 있는지를 설명하고, 항상 컨텍스트(context)를 제공한다.
Myth 3. 많을 수록 좋다
빅 데이터(Big Data)에 대한 열광은 빅 데이터가 인류의 비밀을 밝히고 미래를 정확하게 예측하는 힘이 있다는 것을 시사한다. 맞다. 데이터에 있어서는 많을수록, 클 수록 더 좋은것이다. 참여자가 스스로 평가하고 점수를 매긴 감정적인 반응같은 주관적인 것을 측정할 때는 반응이 더 많을 수록 결과에 자신감을 더해준다. 더 크게 보는 만큼 우리는 계수에 대해 생각하게 된다: 빅 데이터 공식의 용량과 속도같은 것이다. 하지만 빅 데이터는 ‘다양성’에 관한 것이기도 하고, 그래서 다양한 출저를 뜻하기도 한다. 우리는 Analytics한테서Usability Test가 보여주는 모든 가능한 유저 행동만큼 사용자 행동에 대해 알려주기를 기대할 수 없다. Back-end integration이 아닌, 의미있는 카테고리 (metrics라고도 알려진)를 통해 평가하고, 이해하고, 꾸준히 파악해나가야 한다.
다양한 출저에서 온 데이터는 더 느낌이 담긴 그림을 그리고, 결국 행동 가능한 결과를 가져올 것이다. ‘많을수록’이 아닌, ‘넓을수록’ 좋다.
Myth 4. 데이터는 디자이너가 아닌 매니저를 위한 것이다
때로 데이터는 사이트나 앱에 대한 판단을 하기 위해 사용되곤 한다. (ex. “데이터에 의하면 지난번 디자인을 바꾸고 나서 전환율이 떨어졌어”) 당연히 이는 경험디자인 종사자들에게 환원주의적, 편의주의적, 아니면 아예 그냥 잘못된 것이라는 인상을 줄 것이다. 확실히 데이터로 의사결정의 지혜를 입증하는 것은 솔깃하게 들린다 – 내적 싸움을 해결할 것인지, 직감을 거스를 것인지, 아니면 그냥 수익률(ROI)을 증명할 것인지. 하지만 ‘입증’은 데이터의 한 부분일 뿐이다.
만약 데이터를 통해 디자인을 바꾸려고 한다면, 세가지 방향이 있다: 입증하고, 개선하고, 발견하는 것이다. 데이터를 통해 ‘개선’하는 것은 데이터를 중심으로 계속 Iteration과정을 거치는 것이다: 시간, 버젼, 아니면 경쟁자마저도 기록한다. 데이터를 통한 ‘발견’하기는 데이터를 다른 데이터(big or thick)와 연결지어보고 패턴과 트랜드를 탐구하는 것이다. 여기서 문제는 데이터 사용은 ‘사일로’같이 저장고에 쌓여져있다: 경영진들은 한 종류의 데이터를 다루고, UX team은 또 다른 종류의 데이터를 다루기도 한다. 각기 다른 팀은 다른 레퍼런스 기준을 가졌고, 다른 팀들의 데이터에 대해 잘 모르고 있다.데이터는 그저 맞느냐 틀리냐를 입증하기 위한 것이 아닌, 개선하고 새로운 가능성을 발견하는 것이다. 데이터는 기술을 통해 진짜 사람들의 스토리를 말하는 또 다른 방법 중 하나이다.
Myth 5. 데이터는 혁신을 빼앗는다
데이터는 여러가지 면에서 혁신과 대조되는 것으로 보여지곤 한다. 음, 사실 세가지 면이다:
1. 대부분의 데이터는 (analytics든, 설문데이터든, 고객서비스데이터든지 간에) 과거 회고적이다. 비록 패턴과 트랜드를 발견할 수 있다고해도, 과거의 발견을 통해 미래를 예측하는 것은 쉽지 않다.
2. 데이터는 전략적이기 보다는 전술적이다. 구글의 41 shades of blue testing 을 생각해보자. 데이터 주도형 디자인은 A/B테스트와 연관되었기 때문에 디자인을 살짝 수정하기에는 좋지만 굉장한 ‘경험’을 만드는 것에는 그저 그렇다.
3. 데이터는 (특히 analytics) 겉핥기인 것처럼 보인다. 사람들이 무엇을 눌렀고, 스크롤했고, 어디에 머물렀는지는 어떻게 프로덕트를 마켓할건지에 대한 큰 그림을 만들 수 있게 해주지만, 그 뒤에 있는 동기 부여, 기대, 관점, 감정에 대한 것들이 부족하기 때문에 유익한 디자인을 끌어내는데에는 그리 효과적이지 않다.
당연히 위의 관찰에는 분명 진실인 것들도 있다. 하지만 근본적인 문제는, 데이터 자체에 대한 것이 아닌 데이터가 어떻게 ‘사용되느냐’에 달려있다는 사실이다. 어떤 데이터든 디자인을 주도하려면, 복잡성을 포용하기 위해서 보정(조정)되어야 한다. 사용자 경험은 정해진 대로 움직이는 것이 아니다.
Myth 6. 디자인을 유익하게 하기 위한 ‘맞는’ 데이터 사용법이 있다.
지금껏, 모든 조직의 모든 팀에게 적합한 (데이터를 활용하는) 하나의 규범은 없었다. 하지만 몇가지의 가이드라인은 있다:
1. 여러가지 방식/출저(sources)의 데이터를 사용하라: analytics, A/B테스트, 소셜 미디어 정서, 고객 서비스 로그, 세일즈 데이터, 설문조사, 인터뷰, Usability Tests, contextual research 등이 있다.
2. 숫자와 context를 포함하라. 정량적이든 정성적이든, 연구이든 아니든, 빅데이터이든 Thick 데이터이든, 진짜 스토리를 위해서는 숫자와 context 둘 다 포함하라.
3. 데이터가 인간 경험의 복합성을 세심하게 고려하도록 하라. ‘평균’을 내는 것을 삼가고, 조심성있게 추론하고, 편견 없이 입증하도록 하라.
4. 누가 맞고 누가 틀린지를 입증하기 위함이 아닌 데이터를 통해 변화를 감시하고, 새로운 패턴을 탐험하고, 문제를 더 깊게 파기 위한 도구로 사용하라.
5. 데이터를 더 잘 이해할 수 있게 만들고 경험에 대한 이야기를 할 수 있게 만드는 의미있는 카테고리를 결정하라.
6. 조직에서 데이터에 대해 공유하고 의논할 수 있는 방법을 세우고 같이 기초를 정의하는 것에서부터 시작하라.
데이터를 가지고 디자인하는 것은 algorithms, automation, A/B testing, analytics를 넘어서야 한다. 그보다 그런 데이터를 전부 사용해서 어떻게 일상적인 경험을 더 잘 이해하느냐가 궁극적인 목표일 것이다.
