데이터 없는 환경에서 근거를 만드는 법
로그가 부족한 실무 환경에서 객관성을 유지하는 법
실무에서 마주한 첫 번째 벽: 로그 데이터의 부재
프로덕트 디자이너가 마주하는 가장 흔한 어려움 중 하나는 '데이터의 부재'입니다.
데이터 분석 인프라가 완벽히 갖춰진 환경은 생각보다 많지 않습니다.
로그 데이터가 쌓이지 않은 초기 스타트업이거나, 분석 툴을 도입하기 어려운 보안 환경, 혹은 기술적인 제약이 있는 레거시 시스템일 수도 있죠.
이런 환경에서는 의사결정이 자연스럽게 '경험'이나 '직관'에 의존하게 됩니다.
"예전에 이런 게 잘 됐었어." "이 정도면 사용자도 이해하지 않을까요?"
문제는 그 판단의 옳고 그름이 아니라, 가설을 객관적으로 확인할 방법이 없다는 점입니다.
저는 이런 상황일수록 감각에만 의존하기보다, 실질적인 근거를 찾아내려는 노력이 필요하다고 생각했습니다. 사용자가 어디에서 멈추고 무엇을 놓치는지, 단 한 번이라도 직접 확인하고 싶었기 때문입니다.
로그가 없다면, 직접 '근거'를 만드는 수밖에 없다
상황을 탓하며 인프라가 구축되길 기다릴 수만은 없었습니다.
서비스에 로그가 심겨 있지 않다면, 사용자의 행동을 관찰할 수 있는 '가상의 실험장'을 직접 구축하기로 했습니다.
인터랙션이 구현된 고도화된 프로토타입을 활용해 데이터를 수집하는 전략이었습니다.
이때 선택한 도구가 Maze였습니다. 툴 자체가 정답이라기보다, 정성과 정량 데이터를 동시에 수집할 수 있는 가장 빠른 대안이었기 때문입니다.
출처: 메이즈 공식 홈페이지[활용했던 기능]
1. 히트맵(Heatmap): 사용자가 의도치 않은 곳을 클릭하진 않는지 확인
2. 성공률과 퍼널: 어느 단계에서 사용자가 중도 포기하는지 숫자로 파악
3. 주관식 피드백: 숫자 뒤에 숨겨진 사용자의 진짜 불편함을 청취
Nielsen의 연구에 따르면 5-7명의 사용자만 테스트해도 주요 사용성 문제의 약 80%를 발견할 수 있습니다. 저는 초기 테스트에 8명의 참가자를 모집했고, 이 과정에서 얻은 데이터들은 시각화된 리포트로 제공되었습니다. "이 부분이 문제인 것 같다"는 긴 설명보다, 히트맵 한 장을 회의실 화면에 띄우는 것이 훨씬 강력했습니다. 동료들과 비로소 '주관'이 아닌 '사실'을 보며 논의할 수 있게 된 것입니다.
(*Maze 공식 홈페이지에 'Guides & Reports'가 잘 정리되어 있습니다. 참고 해보세요! -> https://maze.co/guides/)
비교 테스트가 가져온 대화의 변화
테스트 중 장면데이터를 확인한 후에는 개선안을 반영하여 다시 한번 테스트를 진행했습니다. 실제 서비스 환경은 아니었지만, 동일한 사용자군에게 동일한 미션을 주고 개선 전과 후를 비교해 본 것입니다.
이는 A/B 테스팅의 기본 원리를 프로토타입 단계에 적용한 것이었습니다.
결과는 명확했습니다. 주관적 가설은 "핵심 전환 지점에서의 이탈률이 30% 감소했다"는 구체적인 지표로 바뀌었습니다. 물론 프로토타입 테스트는 실제 서비스 환경과 완전히 동일하지 않다는 한계가 있습니다.
네트워크 속도, 실제 데이터의 복잡성, 사용자의 멘탈 모델 등은 통제된 테스트에서 완벽히 재현하기 어렵습니다. 하지만 이는 '방향성'을 검증하기에는 충분했습니다.
데이터가 생기자 회의의 풍경도 달라졌습니다. '누구의 의견이 더 설득력 있는가'를 겨루던 소모적인 논쟁이 사라지고, '어떻게 더 나은 가치를 줄 것인가'에 집중하는 생산적인 대화가 시작되었습니다. 저 스스로도 제가 내린 디자인 결정에 명확한 근거를 가질 수 있었습니다.
상황에 맞는 UX 데이터 수집 도구들
로그 기반 분석 툴을 바로 쓸 수 없을 때, 디자이너가 활용할 수 있는 도구는 생각보다 다양합니다.
각 도구의 특성을 이해하고 상황에 맞춰 선택하는 것이 중요합니다.
툴 추천 리스트서비스 특성이나 프로젝트 환경에 따라 맞는 툴을 선택해서 활용해보는 것을 추천합니다.
데이터는 설득의 무기가 아니라 '대화의 기준'이다.
이 경험을 통해 깨달은 것은 데이터가 누군가를 이기기 위한 무기가 아니라는 점입니다. 데이터는 팀원 모두가 '같은 문제를 같은 방향에서 바라보게 해주는 공통 언어'에 가깝습니다.
데이터가 부족한 환경일수록 디자이너는 더 적극적으로 사용자의 목소리를 듣기 위해 움직여야 합니다. 완벽한 환경을 기다리기보다 지금 당장 할 수 있는 작은 검증부터 시작해 보세요. 그 체계적인 접근 자체가 환경과 상관없이 우리가 '프로덕트 디자이너'로서 지켜야 할 가장 중요한 역량이라고 믿습니다.
*참고자료
책
Don Norman, 『디자인과 인간 심리 (The Design of Everyday Things)』
Steve Krug, 『Don't Make Me Think
Jakob Nielsen, "10 Usability Heuristics for User Interface Design"
Jakob Nielsen, "Why You Only Need to Test with 5 Users" (Nielsen Norman Group, 2000)
Jakob Nielsen, "Discount Usability Engineering" – 적은 비용으로 최대 효율을 내는 테스트 기법