챗봇의 도입은 옳은 결정이었을까? 측정과 실험의 중요성
데이터 리터러시와 구글 애널리틱스
구글 애널리틱스,
보긴 봐야 하는데 뭘 봐야 하죠?
아직도 구글 애널리틱스에서 어떤 데이터를 봐야할 지 모르겠다는 많은 실무자들의 고충을 듣는다. 웹 로그 분석 표준으로 여겨지는 구글 애널리틱스는 설치되지 않은 기업을 찾기 힘들 정도이고, 신입사원들이 학습을 마치고 입사할 정도로 보편화 되어 있다. 하지만 정작 이를 활용하는 정도는 보급과 트렌드에 미치지 못하는 것이 사실이다. 실제 몸 담았던 기업들과 컨설팅을 진행하며 경험한 바로는 데이터 분석에 대한 기업들의 니즈는 커져가지만 여전히 직관에 의존해 의사결정을 하는 경우가 대부분이다. 때문에 계정에 접속한 실무자들도 이것저것 리포트를 바꿔가며 여러 데이터를 확인해 보지만 정작 필요한 인사이트는 얻지 못한채 시간만 낭비하는 경우가 많다.
결론부터 말해 우리가 구글 애널리틱스를 사용하는 첫 번째 이유는 바로 측정에 있다. 우리의 경영전략이, 마케팅 전략이 효과가 있는지 판단하기 위해서는 근본적으로 측정이 가능해야 하고, 측정된 데이터를 통해 판단하는 과정이 필요하다. 때문에 측정이란 매우 중요한 요소이다.
업무 피로도가 높아
서비스 퀄리티 저하가 우려됩니다.
실제 사례를 통해 측정의 중요성을 살펴보자. 한 기업의 CS 팀에서 챗봇의 도입 여부를 검토 중이다. 몰려드는 문의를 감당하기에는 직원 수 대비 문의량이 너무 많다고 한다. 때문에 고객을 응대하는 직원들의 업무 피로도가 높아져 서비스의 퀄리티가 낮아지고 있다 하며, 챗봇 도입 시 자동화 된 문의로 1인당 고객 응대 수를 낮춰 서비스의 퀄리티를 개선할 수 있다는 의견이다.
해당 기업은 챗봇의 도입으로 실제 인당 응대 수가 낮아지고 직원들의 업무 피로도가 개선되었다. 하지만 과연 비즈니스 관점에서 이 챗봇의 도입은 성공적이었을까? 챗봇의 도입으로 인한 서비스 퀄리티의 변화는 측정이 가능할까?
아이러니하게도 챗봇의 도입은 고객의 불만이 늘어나는 결과를 만들었다. 민원 수는 그대로이나 민원 처리 속도는 늦어지고 민원 처리율도 낮아졌기 때문이다. 챗봇을 통해 원하는 수준의 답변을 얻지 못한 것이 원인이었는데 CS팀의 존재 목적과 완전히 상반된 결과를 얻은 것이다.
그렇다면 서비스 퀄리티는 나아졌을까? 직원들의 서비스 퀄리티는 챗봇 도입 이전에도 이후에도 측정할 수 있는 정확한 지표가 없었기에 변화를 판단할 수 없었다. 결국 고객의 만족을 잃고 직원의 만족만 높아지는 결과였다.
측정은 2가지 측면에서 접근해야 한다. 첫 번째는 측정의 목적이다. 측정하고자 하는 지표가 과연 목적에 부합하는 지표인가를 고민해야 한다. CS팀의 목적은 고객 민원 처리에 따른 고객만족도의 증대이지 측정하기도 어려운 서비스의 퀄리티가 아니다. 서비스퀄리티를 높이는 것이 고객만족도의 증대로 이어지는가? 직원의 응대 수를 낮추는 것, 직원의 피로도를 낮추는 것이 고객만족도를 높이는 것과 어떠한 관계가 있는가? 질문에 대한 답을 증명할 수 없다면 지표 선정과 의사결정에 대한 재고민이 필요하다. 처음부터 직원당 응대 수와 피로도가 아닌 민원 처리율과 민원 처리 속도에 집중했다면 이를 개선하기 위해 직원 수의 증대 혹은 반복되는 질문에 대한 FAQ 이용 개선 등을 시도해 볼 수 있었을 것이다.
두 번째는 측정 가능성이다. 적합한 지표를 찾았지만 그것이 IT기술의 부재 혹은 비용의 문제로 측정이 불가능하거나, 설령 측정이 가능하더라도 비교 가능한 직접적인 데이터가 없다면 판단이 어렵다. CS팀의 서비스퀄리티는 어떻게 측정이 가능한가? 챗봇 도입 이전에도 퀄리티를 측정한 데이터가 존재하는가? 마찬가지로 이러한 질문에 답을 내릴 수 없다면 챗봇 도입에 대한 성과를 측정하기 어렵다. 의사결정의 성과를 측정하지 않는다면 깨닫지 못하는 동안 계속해서 비즈니스의 마이너스 요소를 방치하게 된다. 앞으로 우리는 이처럼 마케팅 목적을 달성하는 주요 지표를 측정하고 관리하기 위해 구글 애널리틱스를 사용할 것이다.
그로스 해킹의 핵심은 데이터 기반의 실험
고객의 모든 행동이 데이터로 세밀하게 측정되면서 부터 비즈니스와 마케팅의 접근 방법이 달라지기 시작했다. 애자일, 그로스해킹, 린스타트업, MVP 등의 용어와 개념이 등장할 수 있었던 것도 고객의 행동과 성과에 대한 측정이 더욱 빠르고 디테일해졌기 때문이다. 이제 우리는 실시간으로 반응하는 고객의 데이터를 통해 실험을 기반으로 빠른 실패와 빠른 개선을 통한 성장을 기대할 수 있다. 반대로 서비스 출시 전 내부 직원들의 '주관적' 논쟁과 피드백을 거칠수록 속도는 늦어지고 성장의 기회 또한 줄어들게 될 것이다.
본인은 내부 직원들에게 상품 및 서비스에 대한 주관적 의견을 구하는 것에 대해 극히 심한 거부감을 갖고 있다. 직원들은 실제 고객이 아니기 때문이다. 그들은 시장과 제품에 대해 고객보다 더 많은 정보를 갖고 있고 바라보는 시각과 관점이 다르다. 그렇기에 직원들의 의견은 실제 사용자, 고객들의 의견과 생각보다 많은 거리가 있다. 항상 고객의 입장에서 생각해 본다고 하지만 진짜 고객이 될 수는 없는 것이다. 그럼에도 실무자들을 이러한 (무의미한)커뮤니케이션을 반복한다. 본인이 겪은 두 가지 사례를 통해 고객 대상 실험의 중요성을 알아보자.
가격을 보여주는게 어때?
영업 기반의 비즈니스는 웹사이트에 가격을 명시하지 않는 경우가 많다. 주로 상담 및 영업 시에 가격 할인을 Tool로 사용하기 때문이다. 때문에 고객이 웹사이트를 방문하는 또는 리드를 남기는 이유는 가격에 대한 보다 자세한 정보를 얻기 위한 것이 가장 많다.
내부적으로 이러한 이슈를 고려해 웹사이트에 가격을 노출시키자는 의견이 나왔다. 결국 고객이 가장 원하는 것이 가격인만큼 이를 해소해 줌으로써 더 많은 리드를 확보하자는 것이다. 반대로 영업 파트에서는 반발이 심했다. 어떻게든 지점으로 방문만 하면 영업직원의 영업력으로 고객 전환이 가능하지만 가격에서 한 번 이탈하면 그 기회가 줄어든다는 것이 이유이다. 두 의견 모두 일리가 있었다. 다만 논쟁이 점점 감정적으로 치닫고 있었고, 가격 노출을 주장한 분의 직책이 높다는 이유로 선뜻 반박할 수 없는 상황이었다.
이미지의 숫자는 실제 숫자가 아닌 조정된 숫자이며, 시뮬레이션이 반영된 결과이다.당시 엽업점의 불만과 반박이 생각보다 굉장히 거셌지만 해결책은 생각보다 간단했다. 가격 노출과 비노출 시 확보된 리드 대비 전환율 측정을 통해 시뮬레이션을 진행했다. 결과는 수강료를 노출시키지 않는 것이 노출하는 것에 비해 약 150%의 이익을 가져다 주는 것으로 판명됐다. 의견을 낸 사람은 자신의 가설이 들어맞지 않았다는 점 때문에 불편한 기색이 역력했지만, 다행히도 비즈니스 측면에서의 실수를 피했다는 것과 직원들의 불만도 합리적으로 설득할 수 있었다는 점에서 수긍할 수 밖에 없었다.
버튼 위치는 어디가 좋을까?
이번에는 마케팅팀에서 매우 흔하게 접하는 이벤트 페이지 개설 상황이다. 기획자는 고객이 모든 내용을 읽어 내려간 후 페이지의 마지막 영역에서 의사결정을 할 것이라는 가정으로 페이지 하단에 버튼을 위치시키고 싶다. 반면 디자이너는 본인의 경험에 빗대어 상단에서 모든 의사결정을 끝낸 후 바로 액션을 취하고 싶어하기 때문에 버튼을 상단에 위치시켜야 한다고 말한다. 이러한 논쟁은 누구의 의견이 옳고 그른지 판단할 수 없기 때문에 논리가 아닌 감정싸움으로 변질될 가능성이 크다.
실제 본인이 수 없이 겪은 일이기도 하다. 논쟁에서 이기기는 어려워도 해결은 매우 쉽다. 위아래 모두 버튼을 삽입하거나 혹은 A/B Test를 통해 클릭률을 확인하면 된다. 결과는 6:4로 상단에 위치한 버튼에 조금 더 많은 클릭이 일어났다. 이처럼 어떤 의사결정이 옳은 지 즉각적으로 확인이 가능하기 때문에 취향 및 성향에 기반한 논쟁 자체가 무의미한 것이다. 결과를 받아들일 수 있는 열린 마음가짐만 있으면 된다. 다만, 혹시라도 이 결과를 디자이너의 승리라고 생각해 상단에만 버튼을 위치시키는 실수를 범하지는 말자!
결국 데이터는 실험을 통한 데이터를 기반으로 올바른 의사결정을 가능하게 한다. 뿐만 아니라 이해관계자들 간의 커뮤니케이션에도 매우 큰 영향을 미친다. 불필요한 논쟁을 피하게 해주고 공통된 목표를 갖고 업무를 추진할 수 있게 하기 때문이다. 잘못된 의사결정으로 인해 발생한 많은 업무량과 커뮤니케이션에 지쳤다면 이제라도 데이터를 기반으로 실험하는 문화와 커뮤니케이션 습관을 갖도록 해보자. 다만 문화는 하루아침에 형성되지 않기 때문에 시간을 들여 천천히 조직 안으로 침투시켜야 하고, 실험을 위한 환경도 공짜로 만들어 지는 것은 아니기에 환경 구축을 위한 많은 노력이 필요하다.
