brunch

브런치북 행동 데이터 분석가를 위한 안내서 08화

라이킷 5 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 유저해빗 Sep 10. 2019

호손효과 없는 사용자 행동 분석 방법은?

'리플레이' 기능으로 사용자 행동 분석하기

웹 또는 앱 서비스를 운영함에 있어 리플레이 기능이 필요한 이유를 알기 위해선 ‘호손 효과(Hawthorne effect)’에 대한 이해가 필요합니다. 호손 효과란 일종의 반응 현상입니다. 사람들이 자신의 행동이 관찰되고 있다는 사실을 인지할 경우, 그에 대한 반응으로 자신들의 행동을 순화시키는 현상을 말하는데요. 이는 다시 말해, '누가 나를 지켜보고 있음을 알게 되면 실험 대상자의 평소 행동이 바뀐다'는 연구 결과를 말합니다.

이 효과는 우연한 기회에 발견되었습니다. 바로 1924년부터 1927년까지 약 3년 여에 걸친 실험에서 말이죠. 미국 내 가장 큰 전구 제조공장이었던 호손 웍스는 하버드 대학의 엘튼 메이요 연구진과 함께 일련의 실험을 진행했습니다. 당초 실험의 목적은 '작업 환경에 따른 직원들의 사기와 작업 효율성의 관계를 밝혀 최적의 작업 환경 조건을 찾는 것'이었는데요. 연구진은 우선 여러 요소 중 '조명의 밝기'에 주목했다고 합니다. 집단을 둘로 나눠 한 쪽에는 매우 밝은 조명을, 다른 한 쪽에는 어두운 조명을 설치하고 그에 따른 효율성의 변화를 관찰하기로 한 것이죠.

하지만 결과는 예상과 매우 달랐습니다. 어느 조건에서나 작업의 효율성이 올라간 것이죠. 게다가 작업 효율성은 실험이 시작되기 전의 조건으로 되돌려도 마찬가지였습니다. 노동자들의 사기와 생산성이 이전과 같은 상황임에도 크게 증가한 것이죠. 이 의아한 결과에 대한 해답은 참가자 인터뷰에서 나왔습니다. 실험에 참여한 노동자들이 실은 하버드 대학의 저명한 학자들이 자신의 공장에서 연구를 진행한다는 사실에 기쁜 나머지 최상의 결과를 보여주기 위해 노력했다는 사실을 알게 된 것이죠. 연구자들은 이처럼 연구에 참여한 개인이 자신이 관찰되고 있음을 아는 것만으로도 행동이 바뀌는 현상을 '호손 효과'라고 부르기로 했습니다.

제가 이렇게 호손 효과에 대한 이야기를 장황하게 늘어 놓은 이유는 이러한 현상이 UX 및 UI 연구에도 빈번하게 일어나기 때문입니다. 소위 '빅데이터'가 주목받는 오늘날에도 대부분의 기업들은 자사 앱의 UX/UI 평가를 FGI에 의존하고 있습니다. FGI란 Focus Group Interview의 줄임말입니다. 다시 말해, 소수의 사용자를 모집하여 이들의 사용행동 패턴을 관찰하거나 인터뷰를 통해 사용성을 평가하는 것이죠. 이러한 방식은 크게 두 가지 문제점을 가지고 있습니다.

첫째, FGI는 대개 적은 수의 표본을 대상으로 하기 때문에 그 결과가 전체 사용자를 대표한다고 보기 어렵습니다.

둘째, 앞서 이야기한 호손 효과로 인해 제대로 된 사용자 행동 분석이 이뤄지지 않을 위험성이 큽니다.

유저해빗을 비롯한 '사용자 행동 분석 애널리틱스'에서 제공하는 리플레이 기능은 FGI의 문제점을 해결할 수 있는 좋은 방안입니다. 이 기능은 모든 개별 사용자의 행동과 사용흐름을 영상과 같은 형식으로 확인할 수 있게 해주는데요. (단, 일부 애널리틱스의 경우에는 전수 데이터를 취합하지 않고 일정수 또는 비율의 리플레이만을 수집하기도 하니 사용 전에 이를 미리 확인하시길 바랍니다.) 이를 통해 사용자가 어떤 문제에 처했는지 또는 앱 내에서 어떤 중요한 과정을 거쳤는지 등을 쉽게 알아볼 수 있습니다.

더불어 이러한 애널리틱스들은 리플레이 기능과 함께 다양한 필터 기능을 제공합니다. 분석가들은 이를 통해 신규 사용자와 기존 사용자의 사용패턴을 비교해 보거나, 사용경험, 세션길이, 액션수, 스크린뷰, 디바이스, 연결상태 등 다양한 기준을 바탕으로 필터링하여 사용자의 행동을 확인하게 되죠.

또한 동일한 사용자가 앱을 여러 번 사용했다면, 해당 사용자의 다른 세션도 함께 확인해 사용자가 반복적으로 앱을 사용하면서 행동에 어떤 변화가 있었는지 분석해 볼 수도 있으며, 크래시가 발생한 세션에 대한 리플레이의 확인을 통해 어떤 상황에서 크래시가 발생했는지 알아볼 수도 있죠.

참고로 유저해빗의 리플레이를 통해 실제 사용자들의 앱 이용에 대한 영상을 확인하면서 여러분의 모바일 앱 내에서 사용자들이 하는 모든 행동을 볼 수 있습니다. 모든 화면과 탭, 스와이프와 같은 다양한 사용자의 액션을 수집하며, 타사와는 다른 방식의 수집 체계를 통해 개인정보 이슈도 해결하였으니 지금 바로 간단한 SDK 설치를 통해 우리 앱 사용자의 개별 사용 패턴을 파악해보세요!