AI 챗봇에서 나오는 데이터, 버리지 말고 제대로 쓰자
코코너티브, 젠틀파이, AI 대화 분석, 챗봇 분석, 음성봇 분석, 통계
“이번 달 폴백(봇이 알아듣지 못한 질문)이 2,434개나 나왔는데 이걸 어떻게 해야할지 모르겠네”
“뭘 어떻게 해. 그냥 눈에 띄는 몇 개만 수정해.”
AI 챗봇 운영자들에게는 왠지 낯설지 않은 대화다.
챗봇이다 콜봇이다 대화형서비스를 만들고 나서, 운영자들이 가장 많이하는 고민은 무엇일까?
1. 어찌 어찌 학습은 시켰는데 챗봇이 지난달보다 더 나아졌는지 나빠졌는지 모르겠다.
2. 사람들이 어떤 흐름으로 대화하는지 어느 대화에서 이탈하는지 알 수 없다.
3. 솔직히, 어디서부터 어떻게 개선해야 할 지 감을 못잡겠다.
이해한다. 챗봇을 최초로 구축할때는 무엇을 측정하고 추적해야 운영이 될지 미리 생각하기 어려웠고, 설사 생각해냈다 하더라도 기간과 비용 내 구현이 어려웠을 터다.
그러나, 막상 런칭하고 사용자가 생기면 우리 챗봇은 답변을 왜 이렇게 하는지, 왜 욕을 얻어먹고 있는 지 알고 싶다. (누군가가 이해할수 없는 엑셀을 던져주며 살펴보란다)
그래도 이렇게 하면 나아질까 싶어 이것저것 고쳤는데 얼마나 나아졌나 알수는 없고, 위에선 개선한 결과를 내놓으라 한다. 한숨이 나온다.
우리 잠시, 한숨을 접어두자. 코코너티브를 보고 마저 쉬든지 말든지 하자.
똑같은 고민을 6년 동안 젠틀파이가 해왔다. 수년에 걸친 제안요청서(RFP)와 운영요청사항에서, 운영에 꼭 필요한 분석항목과 데이터를 꼼꼼하게 파악했다. 어떤 운영자가 사용하더라도 궁금해할만한 데이터를 모두 여기서 확인할 수 있도록 만들었다.
(자연어엔진 종류에 상관없이 연동 가능하고, 챗봇 이력데이터를 받을수만 있다면 분석 가능하니 지금 신청해보자)
1. 지난달보다 얼마나 나아졌나?
코코너티브 대시보드에서는 전반적인 변화세를 한눈에 볼수 있게 해준다.
코코너티브 대시보드 예시 일부분 발췌 (www.coconutive.com)전체 메시지수는 높아졌다. 사용율은 증가했지만, 폴백 메시지 비율이나 상담사 전환율, 폴백직후 종료율(못알아들었어요가 대화의 마지막인 상태)도 높아졌다. 메인지표 중 상담사 전환율은 많은 기업에서 AI봇 활용도 지표로 채택하고 있기 때문에 대시보드에 포함되어 있다.
그래서 숫자가 증가하고 감소했는데 어떻게 해야하냐고? 팁을 눌러보면 가이드를 준다.
코코너티브 메뉴 팁추가적으로 대시보드의 서비스 평가는 대화서비스의 건강상태를 다각적으로 체크해준다. 특히 대화완결율은 전체 챗봇 대화 중 [상담사로 전환하지 않고 폴백으로 끝나지도 않은 대화]의 비율로 봇을 통한 사용자의 셀프완결처리가 얼마나 되는지 지표로 활용 가능하다.
코코너티브 대시보드 중 일부 서비스 평가 www.coconutiv.com
2. 도대체 어떤 대화를 가장 많이하고 어디서 가장 많이 이탈하고 있나?
코코너티브가 가진 가장 강력한 기능이다. 사용자의 대화 흐름을 순서대로 재연해서 고객의 최다 이동경로와 최대 이탈 경로를 한눈에 볼 수 있게 해 준다.
‘아하! 우리 고객은 오프라인 매장을 찾고, 추천제품을 찾은 다음 나의 멤버십을 확인하는 구나!’
대화의 스타팅포인트를 웰컴A, 웰컴B, 웰컴C로 설정해둔다면, AB테스트를 실행하는 것처럼 대화 시작점에 따라 달라지는 고객의 대화경로를 추적할 수 있다.
이 결과를 개선 결과로 참고, 다음 업데이트에 활용할 수도 있을 것이다.
3. 솔직히, 어디서부터 어떻게 개선해야 할 지 감을 못잡겠다.
선택과 집중!! 위의 세션플로우를 활용, 주요플로우에서 최적의 경험을 제공하는 데 집중하고, 이탈 경로에서의 더 나은 경험을 생성해보자. 가장 극적인 서비스 향상을 모색할 수 있다.
먼저 주요 흐름 개선을 완료했다면, 그 다음 시급한 문제는 폴백 줄이기다. 폴백수가 10개면 그냥 고치면 되겠지만, 다 합해 천개가 넘는다면 감당할수가 없다. 여기서도 선택과 집중! 폴백에서 가장 많이 등장하는 키워드 부터 개선해 보는 것이다.
TOP 폴백 키워드 (코코너티브)그런데 혹시 어떤 대화길래 이런 질문과 이런 답변이 나가는거지? 맥락을 봐야 맞는지 이해할수 있는 경우가 많다.코코너티브의 대화 히스토리 재현 기능을 통해 고객의 대화 흐름을 파악해 어떤 흐름에서 대화가 막히는지 파악하고 시나리오를 조정해 보자.
코코너티브의 폴백 메시지 리스트와 폴백메시지 히스토리 기능이 외에도 평균 인식정확도, 인텐트/ 엔티티 사용현황, 키워드 분석 등 코코너티브의 다양한 기능을 활용, 나날이 발전하는 챗봇 운영을 시작해 보자.
조금씩 개선해 나가면, 분명히 해결점이 있다. A프로젝트에서는 코코너티브를 사용한지 2주만에 폴백의 17%를 줄일 수 있었다. 다양한 분석과 개선을 해보고, 통계로 확인해보는 효과를 거둬보자. 챗봇 운영도 훨씬 체계가 잡힐 것이다.
혹시라도 챗봇 리뉴얼을 준비하고 있다면 코코너티브로 기존 서비스의 문제점을 먼저 파악해보자. 신기능이 우선이 아니라, 기존 고객의 행동패턴이나 요구사항을 제대로 파악하는게 우선이니까.
그럼 오늘 소개한 범위에서 벌써 ‘코코너티브’를 써볼 의향이 생겼다면, 코코너티브 (www.coconutive.com)의 오픈베타를 신청하자.
지금 오픈베타 신청 시,상용화 서비스 3개월 무료 가능!
소개 영상으로 확인해보세요.
다음편에서는 코코너티브를 통해 마케팅적으로 활용할 수 있는 방법에 대해 소개할 예정입니다.
젠틀파이 브런치 구독 부탁드려요!
AI 애플리케이션 플래닝 그룹, 젠틀파이는 텍스트봇, 음성봇, 스마트 디스플레이 등 다양한 챗봇을 제작하고 컨설팅하는 전문 에이전시입니다.
코코너티브를 적용하고 싶으시거나, 봇을 구축하고 싶으신 분들은 젠틀파이 hello@gentlepie.com에 연락 주세요.
