인과의 오해
Recursive
가끔 리포트를 쓰다보면, 당연한 말을 장황하게 늘어쓰고 있는 나를 발견하곤 한다
고객의 연령이 올라갈 수록, 구매액과 구매빈도가 올라간다.
왜냐하면, 그들은 금전적인 여유가 점차 생기기 때문이다.
상대적으로 어린 층의 고객들에게는 저렴한 상품들은 노출시키는 것이 좋다.
그야말로 패착(敗着)이다.
일반적으로 사용자의 행동을 분석함에 있어서, 그들의 인구통계학적 정보 (Demograpic) 를 종종 사용하고는 하지만, 그 결과가 갖는 의미는 의외로 미비하다는 생각이 든다. 서비스의 특성이나, 제공하는 상품의 특징이 아닌 사용자의 인구통계학적 정보에 필요이상의 의미를 부여하게 되면 인구통계학적 함정(Demographic trap)에 빠지게 되는데, 점점 당연한 이야기를 하게 된다.
화장품은 여성사용자가 더 많이 구입합니다.
중년층의 자동차 구매에 지출하는 금액은 20,30대보다 높습니다.
낚시용품은 남성사용자가 더 많이 구입합니다.
물론 서비스의 고객층 (Target Audience)의 정의에 따라 그 비중이 달라질 수는 있겠으나, 큰 의미 없는 데이터가 나와버렸다.
실례로, 보유하고 있는 자산을 관리하는 서비스에서 근무했을 시절 기억나는 데이터가 있다. 본인 명의로 된 자동차의 가격을 조회하고, 가격의 등락을 볼 수 있게 해주는 기능이 있었는데 연령대가 올라갈 수록 소유비중이 올라가고 그 금액대가 올라갈 것이라고 당연하게 (Demographical Error) 생각 했었으나, 실재한 데이터는 다소 상이했다. 평균적으로 자동차를 구입하는 시기는 30세이고, 결혼하는 시기는 32.8세 (남) 30.6세 (여) 라고 한다. (연합뉴스 2020 http://yna.kr/AKR20201021143700063?did=1195m) 물론 결혼 이후 각자의 차량을 유지하는 경우도 있겠지만, 결혼 전에 사용하던 차량을 정리하고 한대만 운용하게 되는 경우가 있다. 이로 인해 개인 소유의 자동차 등록률이 20대후반 - 30대초반에 가장 높았고, 점차 하락하였다. (아이러닉하게도 여성의 등록률만 하락하였다)
이와 같은 사례는 겪어왔던 다른 업계에서도 비슷하게 발생했다.
1. 호텔 예약시 예약자와 결제자가 다른 경우
2. 상품 구입시 포인트 적립자와 결제자가 다른 경우
3. 신용카드 사용시 카드 명의와 실제 사용자가 다른 경우
많은 모수로 저런 예외케이스들이 Outlier로 묻혀버리면 괜찮겠지만, 평균에 영향을 끼칠정도의 적지않은 비중을 차지했다. 공통적으로 예약서비스에서 생각하는 주요 사용자층과 결제처 (간편결제, 카드사, 은행 등) 에서 판단하는 주요 사용자층이 다르게 집계되는데, 아이러닉하다. 호텔예약의 경우를 놓고 생각해보면, 결제는 하지 않았지만, 상품의 리뷰들을 살펴보고 가격 비교를 마치고 구매를 결정한 사람이 실제 고객일까, 결제를 한 사람이 실제 고객일까? 그때 당시 가져갔던 전략은 실질적으로 해당 상품이 판매 되는데 가장 큰 기여를 한 전자쪽에 기여도를 몰아주었다. 이처럼 예외 케이스들이 데이터에서 보여지는 것 너머에 비일비재 했기 때문에, 단순 인구통계학적 데이터를 두고 무언가를 판단하기에는 비하인드 스토리가 항상 존재했다.
비슷한 패착의 사례는 인과에 대해 고민할 때도 심심치 않게 발생했다. 이커머스에서 많이들 사용하는 상품전시 방법중 하나가, 기획전탭이다. 뭔가 상품들에 컨셉을 잡고 (여름맞이, 휴가철, 새학기 등) 비슷한 상품군들을 카테고라이즈 해두는 전시탭인데, 일괄로 여러 종류의 상품들을 판매할 요량으로 기획하곤 한다. 최초 인입에서부터 상품을 최종 구매(결제)하는 시점까지의 소요시간을 (Lead time)을 관리했었는데, 기획전탭을 본 사람과 그렇지 않은 사람들의 리드타임은 다소 차이가 났다. 보지 않고 구매한 사용자층이 구매까지의 소요시간이 더 짧게 걸렸는데, 그렇다면 기획전탭은 구매에 방해가 되는 요소라고 말할 수 있을까? 데이터적인 결과로는 구매까지 걸리는 시간을 늘여트렸으니, 방해가 되는 것으로 해석될 수 있다. 하지만 소요시간의 정의를 어찌 하냐에 따라 그 의미가 양극화 될 수 있다.
구매까지의 소요 시간이 길다
= 서비스 내 체류시간이 길다
= 컨텐츠 (상품)이 충분히 많다
와 같이, 긍정적인 해석도 가능하나 동시에
"UX적으로 방해요소가 있어서 구매까지의 소요시간이 오래걸리니 서비스내에서의 Journey에 방해요소가 된다 (=헤맴지수)" 라는 해석도 가능하다. 리드타임이 짧은 케이스에 대해서도 양극화된 해석이 가능하다.
구매까지의 소요 시간이 짧다
= UX적으로 직관적이기 때문에 헤매이지 않았다
= 사용자 친화적이다
라는 긍정적인 해석도 가능하나, 단순히 특정 물품을 구매할 분명한 목적을 갖고 방문한 사용자였다면 여러 상품들을 들여다 볼 필요도 없이 검색 후 생각했던 가격과 비교 후 바로 구매를 할테니 리드타임이 짧게 집계될 수도 있다. 이는 첫 검색까지의 소요시간 (목적성), 여러 카테고리에서의 검색 (목적 분할), 동일 상품군에서의 상품조회 (목적성) 등을 놓고 구매 목적성이 있는 방문이였는지 실제로 직관성 있는 고객경험을 제공 했는지 판단 할 수 있다. 하지만 단순하게 생각했다면, 기획전은 구매에 방해가 되고 없는 편이 낫다고 빠르게 판단 할 수도 있었다.
인과의 오해가 발생하는 시점은 실질적으로 해당 사용자군이 한 행동의 원인이 직관적으로 보이는 요소에 몰빵(?) 해주고, 실제 이유는 묻혀져 버리는 경우이다. 기획전을 보지 않은 사용자들이 구매하는 데 걸리는 시간이 짧으니 기획전을 간소화 혹은 제외시키자 라는 결론으로 갈 것이 아니라, 역으로 기획전을 볼 필요 없는 사람이였기 때문에 (사고 싶은 상품을 이미 정하고 방문하였기 때문) 보지 않았고, 보지 않았기 때문에 소요시간이 짧게 집계 되었을 수도 있기 때문이다.
데이터 분석가로 특정 서비스를 분석하고, 서비스의 진행 방향을 제시하는 업무를 수행함에 있어서 늘상 있는 부담감이 그렇다. 인사이트를 도출하면서 간혹 이게 맞아서 맞는걸까, 내가 맞다고 생각해서 맞게 도출 된 것일까 라는 생각이 드는데, 뭔가 답정너 분석을 하고 있는건 아닌가 라는 생각이 든다.
기획전 어쩐지 구매에 방해 되는 것 같은데? 매출도 안나오는것 같고, 판매 기여도 한번 볼까?
어? 기획전 안본 사람들이 리드타임이 더 짧네? 없어도 될 기능 때문에 더 오래걸리잖아
역시 내가 맞았네 그럼 기획전을 빼자고 건의해봐야 겠다
이런 의식의 흐름대로 답을 정해놓고 접근하게 되면, 결국 머릿속의 결론으로 봉착하게 된다. 모든 가능성을 열어두고, 더블 트리플 체크를 하며 진행해야 하는데 본인이 공유하는 리포트의 영향력 때문에 그렇다. 상대적으로 결정권자들은 내가 들여다보는 만큼의 깊이의 데이터를 확인하지 않고, 내 리포트 상단에 3줄요약된 인사이트만 보고 결정하게 되는데 (그게 잘못 됐다는 것이 아니라, 나를 혹은 나의 업무를 신뢰하는 것이다), 나의 곡해된 접근과 해석이 그대로 서비스의 진행방향에 적용 될 수 있기 때문에 그 한글자, 한글자에 신중을 기해야 한다. 본인이 분석 초기에 세웠던 모든 중립적 가설들이 무너지고 결국 입증된 것이 하나 없는 분석일지라도 "가설들이 맞지 않았다." 라는 학습을 하였으니 실패경험이 추가되었다. 그 실패 경험을 토대로 겹치지 않는 실패들을 반복 하다보면 나중에는 성공하는 사례들이 많이 생길테니 그도 그대로의 긍정적인 결과이다.
연령대별로 구매빈도가 다를것이다 라는 가설을 세우고 진행한 분석에서,
"연령은 구매 빈도에는 큰 영향을 끼치지 않고 구매 액에만 영향을 끼쳤다."
로 원하는 결론으로 귀결되지 않았다고 해서 실패한 분석은 아니다. 학습된 부분이 있다면 그로 성공적인 시도였기 때문이다. 내 결정이 서비스에 바로 녹아들어갈 수 도 있다는 생각으로 답정너 스탠스를 배제하고 중립적인 입장에서 비판적인 스탠스로 접근하게 된다면 의미있는 결과를 가져오는 분석이 될 수 있다.
