brunch

You can make anything
by writing

C.S.Lewis

by 유저해빗 Oct 10. 2019

[부록] 데이터 분석 시 주의해야 할 5가지 ‘착각’들

기술 기반의 기업들은 데이터와 디자인이 한데 얽혀 돌아가는 경우가 많습니다. 이러한 기업들은 매시, 매분, 매초마다 생산되는 데이터를 바탕으로 변화를 탐지하며, 분석가와 데이터 사이언티스트 또는 엔지니어 팀에 의존하여 수백, 수천 개의 메트릭과 이터레이션(반복)을 지속적으로 모니터링합니다. 디자인 작업에 있어 본능은 여전히 중요한 요소입니다. 하지만 데이터의 정확한 분석과 이해가 가능하다면 제품의 이해도를 높일 수 있는 것은 물론, 해당 과정을 토대로 이루어진 의사결정의 내용과 결과가 이해관계자를 만족시킬 수 있도록 도와줄 것입니다. UX 디자이너가 데이터 작업을 할 때 유의해야 할 사항은 다음과 같습니다.

(1) 참신 효과

a. 정의 : 새로운 기술이 처음 도입되었을 때 일어나는 현상으로, (사용성, 만족도 등에 대한) 실질적인 향상이 아닌 새로운 기술에 대한 관심 증가로 초기에 긍정적인 응답이 나타나는 현상을 말합니다. 다시 말해, 새로운 디자인 또는 기능의 출시 직후, 놀라울 정도로 긍정적인 반응이 도출되는 것을 말합니다.

b. 유의할 점 : 초기 결과가 '너무 만족스럽다'는 응답을 전적으로 신뢰해서는 안 됩니다. 단순히 '새로운' 것이기 때문에 더 낫다고 느끼는 것일 수도 있기 때문이죠.

c. 사용자 행동 분석 애널리틱스로 문제 해결하기 : 참신 효과의 해결은 결국 꾸준한 데이터 확인 및 분석에 달려 있습니다. 대부분의 애널리틱스들은 일간 단위는 물론 주간, 월간 단위로 다양한 분석 지표를 제공합니다. 이를 통해 제품 출시 직후부터 이후의 변화를 빠짐 없이 확인한다면, 참신효과 이후의 사용자 패턴 및 변화의 긍정적, 부정적 효과를 확인할 수 있을 겁니다.

(2) 평균 회귀

a. 정의 : 많은 자료를 토대로 결과를 예측할 때, 결과 값이 평균에 가까워지려는 경향성을 말합니다. 상관이 완전하지 않은 어떠한 관계에서도 볼 수 있는 특성입니다.

b. 유의할 점 : 평균 회귀의 함정에 빠지지 않기 위해선 두 가지가 필요합니다. 우선 이를 콘트롤 할 수 있는 팀 혹은 그룹이 구성되어야 하며, 작은 규모의 샘플에서 도출된 결과를 유의하여 살펴야 합니다.

c. 사용자 행동 분석 애널리틱스로 문제 해결하기 : 사용자 애널리틱스에서 제공하는 데이터는 사용자 일부를 대상으로 한 정성적인 테스트 결과가 아닌 사용자 전체를 대상으로 한 대규모의 데이터입니다. (GA 등 일부 애널리틱스의 경우에는 전수 데이터가 아닌 10만 개 내외의 데이터를 표본으로 추출하여 그 값을 산정하기도 합니다) 감에만 의존한 UI/UX 분석과 설계를 지양하고, 보다 객관적인 데이터 분석을 통해 사용자의 만족도를 높여보세요.

(3) 호손 효과

a. 정의 : 다른 사람의 시선을 인식할 때, 관찰 대상이 본래 의도나 천성과 다르게 행동하는 현상을 말합니다.

b. 유의할 점 : 실험 상황에서 관찰자 또는 연구자의 개입을 최소화하는 것이 중요합니다. 참여자와 실험자 중 누가 실험의 대상인지 확인할 수 없는 이중맹검법 등을 활용하는 것은 좋은 방법이 될 수 있으며, 개별적으로 수집된 데이터의 독립성 보장을 위해 자동 녹음을 연습할 필요도 있습니다.

c. 사용자 행동 분석 애널리틱스로 문제 해결하기 : 여러 사용자 행동 분석 애널리틱스에서 제공 중인 ‘리플레이’ 기능을 활용하면, 사용자 관찰을 위해 별도로 인터뷰를 요청하지 않아도 책상에 앉아서 앱을 사용하는 모든 세션을 비디오처럼 관찰할 수 있습니다. 즉, 호손 효과가 배제된 양질의 사용자 행동패턴을 분석할 수 있는 것이죠.

(4) 확증 편향

a. 정의 : 기존의 신념에 부합되는 정보나 근거만을 찾으려고 하거나, 이와 상반되는 정보를 접하게 될 때는 무시하는 인지적 편향을 말합니다. ("사람들이 어떠한 결론을 진실이라고 믿게 되면, 그들은 이 주장의 근거가 불투명해지더라도 그것을 지지하는 것으로 보이는 주장을 믿을 가능성이 높다." - Daniel Kahneman, <Thinking, Fast and Slow>)

b. 유의할 점 : 데이터 결과를 분석할 때 자신 혹은 기존의 팀에 편견이 존재할 수 있음을 인지하고, 인정해야 합니다.

c. 사용자 행동 분석 애널리틱스로 문제 해결하기 : 확신에 사로잡힌 사람을 설득하기 위한 방법은 결국 데이터, 데이터, 또 데이터입니다. 방문수, 체류시간, 스크린뷰, 액션수 등의 일반 지표뿐만 아니라 사용자의 경로분석 및 개별 사용자의 리플레이 등 다양한 데이터를 토대로 팀 또는 개인을 설득해보세요.

(5) 계측 효과

a. 정의 : 도구, 관찰자 또는 채점자의 변화에 따라 결과 변화를 가져올 수 있다는 사실을 말합니다.

b. 유의할 점 : 여러 브라우저 및 기기를 사용하기 전에 미리 테스트가 필요합니다. 또한 검사 실행 전에 버그 또는 문제가 해결되었는지 확인하기 위해 품질 관리를 수행할 수 있는 인력을 확보해둘 필요가 있습니다.

c. 사용자 행동 분석 애널리틱스로 문제 해결하기 : 버그 이슈를 해결할 때 늘 가장 어려운 점은 크래시 재현이 어렵다는 점이죠. 앞서 '서비스 성장을 저해하는 숨은 장벽, 크래시'장에서 언급한 다양한 크래시 관련 애널리틱스 툴을 활용하여 보다 빠르게 문제를 해결해보세요!