데이터 기반 디자인에 관한 6가지 미신
ㅡ UX Magazine / 번역글
'데이터 기반 디자인'이 뜨거운 감자가 되었습니다. 헌데 우리는 그 진정한 의미에 대해 과연 제대로 이해하고 있는걸까요? 데이터에 대한 접근이 불충분한 팀에게는 어떤 것을 데이터로 삼을지를 정의하는 일조차 어려울 것이며 각각의 이해도도 부족할 것이고, 이를 공유하기 위한 말조차 존재하지 않을 것입니다. (하지만 요즘에는) 어떤 사이트, 앱일지라도 분석과 A/B테스트, 앙케이트 조사, 인터셉트 조사, 벤치마킹, 사용성 테스트, 에쓰노그래피 리서치, 인터뷰 등이 당연하듯 실시되고 있습니다. 그렇다면 테스트와 조사 결과 중 도대체 무엇을 데이터로 삼고 사용하면 좋은 걸까요? 더욱 중요하게, 실제로 디자인을 결정할 때 인풋으로 삼아야 하는 데이터는 어떤 것일까요?
데이터 기반 디자인이란 무엇인지를 이해하기 위해, 우선 어떤 것이 데이터 기반 디자인이 아닌지부터 시작해까합니다. 그럼으로써, 실제로 데이터가 어떻게 UX를 개선시킬 것인지에 대해 알 수 있을 것입니다.
Myth 1: Data Means Numbers
미신 1 : 데이터는 숫자를 의미한다
사이트와 앱에 관한 데이터는 분석 툴(애널리틱스)을 통해 집계됩니다. 분석 툴에선 사이트를 방문한 사람들의 숫자와 어떻게 방문하게 되었는지, 몇 시간이나 체류했는지, 어느 곳을 클릭했는지 등을 집계할 수 있습니다. 또한, 몇 명이 A를 클릭하고 몇 명이 B를 클릭했는지도 집계할 수 있으며 인터셉트 조사와 앙케이트 조사 유효 응답 수도 집계할 수 있습니다.
숫자는 복잡한 삶을 살아가는 인간의 대표적인 액션들을 표현합니다. 하지만 수백만 명의 사람들의 행동 패턴을 하나의 숫자로 정리한다는 것은 반드시 유용성(Useful)이나 신뢰성(Reliable)을 의미한다고는 말할 수 없습니다. 아무리 잘 정리된 집계 결과라 할지라도 우리들이 떠안는 사용자 경험에 관한 의문에는 답변해주지 못할 때가 많습니다. 사용자 경험에 관한 의문의 예로는 왜 사용자가 그 행동을 취하게 되었는지, 하지 않게 되었는지, 어떻게 느꼈는지, 경험으로부터 무얼 기대하는지 등이 있을 것입니다. 인터뷰와 에쓰노그래피 조사, 사용성 테스트는 수치 데이터의 갭을 메워주지만, 그러한 정성적인 인사이트라는 것은 수치가 아니므로 데이터로써 사용되지 않을 때가 많습니다.
사회학이나 의학과 같은 다른 분야에선, 정성적인 것들도 데이터라는 견해에 대해 동일한 태도를 보입니다. 스몰 데이터 또는 자세한(Thick) 데이터는 문장의 형태나 수치화되어있는지 아닌지와 상관없이 데이터로써 집계됩니다. 이는 데이터 정보를 기반으로 하는 디자인에서도 마찬가지라 말할 수 있습니다.
디자인 의사결정에 활용되어야 하는 데이터 성질은, 그 출처가 무엇이든 간에 '사람들이 남긴 흔적인가 아닌가?'가 됩니다.
Myth 2: Data Is the Objective Truth
미신 2 : 데이터는 객관적 사실이다
정량 데이터는 이미 완료된 액션(행동)을 집계한 것이며 그러한 집계 결과라는 것은 인간이 아닌 소프트웨어가 정리한 것입니다. 그렇기 때문에 정량 데이터라는 것이 마치 변함없는 사실인 것 같은 착각을 일으킵니다.
데이터가 크다고 해서 객관적임을 의미하지 않습니다. 어떠한 데이터 세트(*컴퓨터가 처리하거나 분석할 수 있는 형태로 존재하는 관련 정보의 집합체)에도 편견(Bias)이 존재합니다. 숫자 자체는 기계가 취급하지만 데이터 세트는 인간이 만든 것으로 인간이 이것들을 해석하고 의미를 부여합니다.
신호 착각(Signal Bias) 또는 부작위 편향(Bias of Ommision), 내포(Inclusion)와 강조(Emphasis)는 자주 있는 편견 들 중 하나로, 빅데이터에 두드러지게 나타납니다. 그 빅데이터를 예로 든다면 소셜 미디어 데이터터는 집단의 한 일부분으로 즉 트위터나 페이스북에 있는 해시태그를 사용하는 사람에 불과합니다. 마찬가지로 연구용으로 관찰하거나 참가하는 것에 동의한 소수의 집단이란 사람들은 전체 집단 중에서 극히 일부에 불과할 것입니다.
관찰 행위에 따라 일어나는 요동에 대해선 하이젠 베르크의 '불확정성의 원리(*양자역학에서 맞바꿈 관측량이 아닌 두 개의 관측 가능량을 동시에 측정할 때, 그 정확도에 한계가 있다는 원리)'처럼 다른 편견(Another Bias)도 있습니다.
연구실에서의 사용성 테스트는 얼마나 환경과 담당자 태도 등에 있어 중립성을 갖는지에 따라 그 위에 관찰이라는 행위가 더해짐으로써 사용자의 행동 패턴이 달라질 수 있습니다. 문맥이 있는 혹은 에쓰노그래피 조사에서도 사용자에게 모든 것을 완전히 맡겼다는 연구는 거의 존재하지 않습니다. 이는 정량 연구에서도 마찬가지입니다. 예를 들어 앙케이트와 인터셉트처럼 단순히 질문을 함으로써 사용자 경험을 프레임에 끼워 넣는 형태를 취하더라도 말입니다.
또한, 사람과의 접촉이 없는 온라인 조사와, 담당자와 다른 사용자 간의 상호작용이 있는 대면조사를 비교해 보더라도 '다른 누군가의 존재가 있는 것'만으로도 사이트나 앱 인식에 상당한 긍정 효과가 나타난다고 알려져 있습니다. 이는 무엇을 말할지, 어떻게 평가할지 그리고 무엇을 하고 무엇을 시도할지와 같은 일들에까지 관여하게 됩니다.
빅이든 스몰이든 완벽한 데이터는 존재하지 않습니다. 어떤 타입의 데이터일지라도 한계가 있으며 편견이 존재합니다. 좋은 데이터라는것은 존재하는 편견을 명확히 밝히며, 언제나 콘텍스트를 제시해 줍니다.
Myth 3: Bigger Is Always Better
미신 3 : 큰 것이 항상 더 낫다
최근 일어났던 빅데이터 열풍은 인간의 비밀을 모두 밝혀주며 미래 또한 정확히 예측할 수 있는 힘이 있다 말하듯 보입니다. 물론 데이터이니 클 수록 좋은 점도 있겠지요. 예를 들어 무엇인가 감상을 자가보고(self-reported ratings) 하는 듯한 형태의 주관적인 일을 측정할 때는 응답수가 많을 수록 그 결과에 자신감을 가질 수 있으니까요.
우리는 크기라 하면 바로 숫자를 떠올리기 쉽습니다. 즉 빅데이터 방정식에서 말하는 볼륨과 스피드입니다. 하지만 빅데이터라는 것은 다양성을 의미하기도 하며, 이는 다시 말해 무척이나 다양한 소스라는 점을 의미합니다. 사용성 테스트가, 일어날 수 있는 모든 행동 패턴을 알려줄 거라 기대하지 않는 것과 마찬가지로, 분석 툴이 사용자 행동에 대해 필요한 정보를 모두 알려줄 거라곤 기대할 수 없습니다. 모든 데이터가 종합 집계되어있지 않는다는 전제하에 우리는 데이터를 제대로 정리해야만 합니다. 바꿔 말하자면 의미 있는 카테고리를 창조(메트릭스라고도 말합니다)하고 이를 이용해야하며, 평가하며, 이해하고, 추적해야 한다는 것입니다.
여러 소스에서 얻은 데이터는 의미심장한 새로운 개념을 지시하고, 궁극적으로 행동을 촉구해줍니다. 더욱 큰 것, 많은 것이 아니라 더욱 폭넓은 것이야 말로 좋은 것입니다.
Myth 4: Data Is for Managers, Not Designers
미신 4 : 데이터는 디자이너를 위한 것이 아니며 매니저를 위한 것이다.
데이터는 자주 사이트와 앱을 평가하는 데 사용됩니다. 물론 이러한 평가는, '데이터에 따르면 새로운 디자인으로 바꾼 뒤부터 전환율이 떨어졌다'와 같이 디자이너에 대해 다양한 공격의 재료가 될 수 있습니다. 물론 내부의 의견 대립을 해결하고 직관적인 접근에 대항하는 수단으로써 혹은 단순히 투자 대비 수익을 입증하기 위한 것으로써, 의사 결정의 타당함을 증명하는 데이터를 원하게 되는 것은 무리하는 일이 아닙니다. (허나 누군가의 이론을 증명한다는 것은 데이터의 역할 중 극히 일부에 불과합니다.)
데이터를 디자인에 활용하기 위한 방법에는 검증과 개선, 그리고 발견이라는 세 가지가 있습니다. 먼저 개선을 위한 데이터 활용이란, 데이터에 근거한 반복에 해당하는 것들을 의미할 때가 많습니다. 매 시간, 매 버전마다 또는 경쟁상대에 대한 (지속적인) 추적입니다. 발견을 위한 데이터 활용이란, 다른 데이터(많은 데이터 건 자세한 데이터 건)와 연결 지어 데이터를 보고, 패턴과 트렌드를 탐구하는 일입니다.
이러한 경우 일어나는 문제 중 하나로써 '데이터 활용만을 고수한다'는 점을 들 수 있는데, 사업팀은 UX팀이 활용하고자하는 데이터와는 다른 한가지 타입의 데이터를 갖고 일을 합니다. 각 팀이 제각각 다른 참조 프레임(권한)을 가지고 있기 때문에 다른 데이터를 알지 못하거나 단순히 고려하지 않는 일이 발생할 수 있습니다.
데이터는 누가 옳고 누가 잘못되었는지를 증명하는 것이 아닌, 개선과 새로운 가능성을 창출하기 위해 존재합니다. 인간이 기술을 활용하고 있다는 점을 증명하기 위한 다른 방법입니다.
Myth 5: Data Kills Innovation
미신 5 : 데이터는 혁신을 죽인다.
데이터는 혁신의 적으로 간주되는 일이 많습니다. 다음 세 가지가 대표적인 예가 될 수 있겠습니다.
1. 대부분의 데이터는, 분석이든 설문조사 데이터든, 고객 서비스 데이터 건 간에 과거의 것이라는 점.
(그 발견 속에서) 패턴과 경향을 찾아낼 수는 있겠지만 이를 바탕으로 (미래를) 예측하는 일은 어렵습니다.
2. 데이터는 전략보다 전술이라는 점.
구글이 실시한 41가지 파란색 테스트의 예를 생각해 보면 됩니다.
데이터에 따라 디자인한다는 것은 A/B 테스트와 관련 깊기 때문에 디자인 요소를 해결하는 데는 적합하지만 멋지고 획기적인 사용자 경험을 창조하는 뛰어난 방법이라고는 말할 수 없습니다.
3. 데이터, 특히 분석은 극히 표층적이라는 점. 사람들 무엇을 클릭했으며 얼마나 스크롤했는지 또는 어디에 오랫동안 머물렀는지를 보는 건 제품의 마케팅 방법에 대한 이미지를 만드는 데는 적합하지만 동기나 기대, 인식, 감정과 같은 정보에는 결여되어 있으므로 디자인 의사결정에 적합하지 않습니다.
이러한 견해들에 대해 이건 진실이다, 할 수 있는 것도 있습니다. 문제의 핵심은 데이터 자체에 있는 것이 아니라 데이터를 어떻게 사용하는가? 에 달려있는 점입니다. 데이터를 디자인에 활용하기 위해서는 어떠한 데이터라 할지라도 그 복잡함을 받아들이고 활용해야만 합니다. 사용자 경험은 패널(PAnel analysis)이 아닙니다.
Myth 6: There Is a Right Way to Use Data to Inform Design
미신 6 : 디자인 개발에 적합한 데이터 활용법이 있다
오늘날 어떤 조직의 어떤 팀이건 간에 반드시 제대로 만들어진 표준적인 방법이란 건 없을 것입니다.
생각들을 시작하기 위한 가이드라인이라면 몇 가지가 존재하겠죠.
다양한 소스의 데이터를 사용하여 디자인에 활용합니다. A/B 테스트, 소셜 미디어 의견, 고객 서비스 로그, 세일즈 데이터, 앙케이트, 인터뷰, 사용성 테스트, 콘텍스트가 담긴 리서치, 기타 조사 등
숫자와 맥락을 포함하여야 합니다. 정량적과 정성적, 조사와 비조사, 빅 데이터와 자세한(Thick) 데이터, 어떻게 부르건 간에 진짜 이야기를 말하기 위해선 숫자와 콘텍스트 양쪽 모두가 필요합니다.
데이터가 사용자 경험의 복잡성에 민감하다는 것을 확인합니다. 신중하게 평균을 사용하고 주의하며, 추측하고, 자유롭게 보강하도록 합시다.
시간을 들여 변화를 추적하는 일에 데이터를 사용하고, 새로운 패턴을 찾으며, 누가 맞고 누가 틀린가를 증명하지 보다 오히려 거꾸로 문제를 깊이 파고듭시다.
데이터가 의미를 갖을 수 있도록 또한 사용자 경험에 대한 이야기가 보이도록 의미 있는 카테고리를 설정합니다.
조직 내에서 데이터를 공유하여 토론 방법을 개척하고 다함께 기본을 명확히 하는 것부터 시작합니다.
데이터를 활용해 디자인한다는 것은 알고리즘과 자동 A/B 테스트 및 분석을 뛰어넘어야 합니다. 더 정확히 말하자면, 그 목표는 알고리즘과 자동화 A/B 테스트 및 분석을 넘어 일상적인 사람들의 경험에 대한 이해가 되어야 할 것입니다.
(번역 끝/묭니)
