챗봇 분석: 챗봇에서 나오는 데이터와 인사이트
챗봇, 챗봇분석, 젠틀파이, Chatbot Analytics, 인사이트
챗봇을 통해 어떤 데이터를 추출해 낼수 있는가? 추출할수 있는 방식은 많이 있으나, 자동화시키려면 갑자기 문제가 상당히 복잡해진다. 챗봇으로 추출할 수 있는 데이터는 굉장히 많다. 개발자에게 문의하면 "네, 생각하시는 뭐든지 할수는 있어요. 다만, 시간과 노력이 더 들 뿐이죠"의 그 시간과 노력, 즉 돈이 더 들 뿐이다.
빅데이터 시대에 어떤 데이터를 모을 수 있냐는 챗봇의 활용폭을 넓히는데 중요한 역할을 하게 된다. 상용화된 챗봇엔진을 사용하는 경우, 기본적인 챗봇 활성화도와 성능 등 일부는(아래의 1번과 2번) 대부분 커버된다. 그렇지만 챗봇을 만든 이유가 단순히 챗봇이 얼마나 잘되는지 알아보려는 것은 아닌 까닭에, 챗봇을 통한 유저 인사이트나 목적달성률(3번, 4번)을 트래킹하기 위해서는 런칭전에 추가 개발해야하는 경우가 대부분이다.
챗봇을 통해 어떤 항목들을 분석할 수 있는지 알아본다.
1. 챗봇의 활성화도
챗봇 사용 전체 유저수
액티브 유저수(Active Users): 30일 이내 한번이라도 사용한 유저
유저 인터렉션 (Total conversations): 챗봇의 메시지수 + 유저의 메시지수
평균대화율 (Avg. msg. per conversation): 유저가 평균적으로 한번 들어왔을 때 몇번이나 대화하는지
재방문율(Retention rate)
가장 기본적인 분석 데이터로, 아래 챗퓨얼(chatfuel.com)처럼 서비스형 챗봇빌더에서는 기본으로 제공하는 데이터다. 전체 유저, 액티브유저(보통 30일 내 한번이라도 사용한 유저)나 재방문율등을 통해 챗봇이 얼마나 활성화되고 있는지를 가늠할 수 있다.
챗봇 활성화도 (Source: chatfuel.com)2. 챗봇의 성능
답변하지 못한 인텐트 (Unknown): 유저의 인텐트를 찾지 못한 건 수
답변 확신도 (Confidence): 유저의 답변에 평균적으로 얼마의 확신으로 대답했는가
챗봇은 어쩔 수 없이 못하는 질문을 만나기 마련이다. 좌절하지 말고, 전체질문에서 답변하지 못한 인텐트가 얼마나 되는지를 파악하면 다음 업데이트 시 어떤 컨텐트를 준비해야할지 예상할 수 있다.
또한, 답변확신도는 자연어엔진에 따라 제공하는 경우도 있고 제공하지 않는 경우도 있다. '답변 정확도를 70% 이상으로 유지하겠어'를 챗봇성능 KPI로 설정하기도 하는데, 아무리 엔진 자체에서 70%의 정확도로 답변을 했다고 해도, 실제로 오답을 내는 경우가 왕왕 있다. 따라서, 정확도를 제대로 판단하기 위해서는 대화로그 자체를 주기적으로 하나하나 들여다 보기도 해야 한다.
3. 목적달성률 Goal Completion Rate(GCR)
특정 인텐트 활성도: 챗봇의 목적이 되는 특정 인텐트 활성화도
랜딩 페이지 방문율: 랜딩 페이지로 이동한 수/전체 방문수
상담건수 증가량: (상담원의 상담건수 + 챗봇을 통한 상담건수)/상담원의 상담건수
챗봇의 목적이 무엇이었나 다시한번 돌아보게 하는 지표들이다. '올림픽 경기 안내'가 목적이었던 챗봇이었는데 그 인텐트의 활성도가 낮았다면, 시나리오를 다시 한번 돌아볼 타이밍이다. 마찬가지로 특정 페이지로의 랜딩이 목적이라면 그 방문율도 체크해야한다. 상담챗봇이라면 상담건수의 증가량 같은 지표로 목적 달성 현황을 체크할 수 있다.
4. 유저 인사이트
가장 많이 한 질문(Top Intents)
가장 많이 활용된 키워드(Top Entities)
가장 많이 클릭된 컨텐트(Top Clicks)
해당 항목들은 챗봇 유저의 관심사를 파악할 수 있다는 점에서 유저인사이트 항목으로 분류했다. 여기서 인텐트(질문) 외에 엔티티에서도 중요한 인사이트를 얻을 수 있는데, 엔티티의 변화추이를 통해서도 어떤 '제품' 혹은 '서비스'로 관심이 변해 가는지 알 수 있다. 이 데이터들은 개개인별로 모으는 방법과 유저 전체를 통해 모으는 방법이 있다. 자연어에서 entity를 추출할 것인가 버튼 클릭에서 추출할 것인가 아니면 둘 다에서 추출할 것인가에서도 고민이 필요하다.
Top 질문 의도의 파악 (Source: Gentle Analytics, 젠틀파이)몇 년전 모 프로젝트에서, 데이터가 정말 엄청나게 들어왔는데 분석을 위한 추가비용이 너무 커서 1회에 그치고 만 적이 있다. 서두에서도 잠깐 언급했지만, 어떻게 데이터를 모을 것이냐하는 고민이 없다면 데이터는 그냥 거기 있을 뿐 알아서 인간이 해석할 수 있는 숫자로 만들어지지 않는다. 필요한 데이터를 모을수 있도록 설계해야 하되, 의미없는 데이터를 산출하는데 비용과 시간을 뺏기지 않도록 챗봇 구축단계에서부터 어떤 유의미한 데이터를 모을 지 세심한 설계가 필요하다.
버리는 데이터를 일하는 데이터로
AI 챗봇에서 나오는 데이터, 과연 얼마나 활용하고 계시나요?
AI 챗봇 운영비를 낮추고, 데이터로 마케팅에도 사용하고!
지금 당장 코코너티브로 챗봇의 가치를 올려보세요!
코코너티브 https://www.coconutive.com
젠틀파이에서 개발자를 찾고 있습니다. 챗봇 개발과 분석에 관심 있으신 분들의 지원을 기다립니다.
개발자 채용 페이지
젠틀파이는 챗봇 제작 전문 그룹입니다.
경험이 다른 챗봇을 만들고 싶으시다면, 젠틀파이 hello@gentlepie.com 에 문의 주세요.
제이미의 글과 챗봇 소식을 계속 보고 싶으시다면,
페이스북 챗봇 그룹
제이미 트위터 @jamiepark
이 브런치는 챗봇에 대한 다양한 소식이 업데이트됩니다. 브런치 구독
