챗봇 운영, 도약을 위한 끈질긴 반복
젠틀파이, 챗봇, AI봇, 통계, 챗봇 운영 업무리스트
요즘 뉴스를 보면 일주일에 두서너 개쯤 새로운 봇이 태어나고 있다. 우리가 창조한 이 챗봇들은, 태어나면서부터 혼자서 씩씩하게 자라는 쇠똥구리가 아니다. 오히려 생후 70일이나 눈도 제대로 못 뜨는 자이언트 판다라고 봐야 한다. 열심히 몇 달, 길게는 일년을 꼬박 고생해서 내놓은 내 자식 같은 챗봇, 품 많이 들여 세상에 내놓았으니 이제 피할 수 없는 현실이 기다리고 있다. 바로 양육. 서비스로 해석하면 '운영'이다. 운영은 지루함 플러스 고통이다. 우리의 일상처럼 챗봇 운영도 반복이고 루틴이기 때문이다. 지레 겁먹지 말고 차라리, 아침마다 산책을 했더니 어느날 바지 허리춤이 헐렁해졌던 기억을 떠올려 보자. 긍정적인 마음으로 꾸준히 해 나간다면 자칫 타성에 빠지기 쉬운 챗봇 운영이 일주일, 세 달, 1년 후, 확연한 성과로 돌아올 것이다.
주기별 운영 업무
1) DAILY : 매일! 빠짐없이!
매일 하는 업무 중 가장 기본은 모니터링이다. 필수 기능을 위주로 체크리스트를 작성한 후 매일 진행한다. 급 대학입시 강사가 된 마음으로 말하건데, ‘매일, 빠짐없이'가 가장 중요하다. 서버 모니터링은 프로그래밍적으로도 가능하지만, 기획한 대로 모든 요소가 작동하는지 여부는 기계보다 사람이 확인하는 편이 낫다. (프로그래밍적으로 해결하는데 한계가 있다) 출근하자마자, 챗봇의 주요 기능 발화/터치 시나리오에서부터 임의 발화까지 테스트한다. 이 과정에서 예기치 못한 외부 API 연동 오류(생각보다 자주 일어난다)나, 카카오톡, 페북 메신저 등 연동 플랫폼의 정책 변경으로 갑자기 오작동하는 경우를 발견할 수 있다. 이런 노력 덕택에 "데이터가 제대로 안 들어온 지 2주나 지났는데 아직까지 몰랐단 말이에요." 같은 질책을 들을 가능성은 0에 수렴하게 된다. 임의 발화는 자연어엔진 학습이나 테스트 과정에 들어가지 않았던 별도의 유사 발화로 시도한다. 그래야 자연어엔진 처리의 빈틈을 파악하거나 기존 로직의 문제점을 찾을 수 있다. 마지막 언급하지만 가장 중요한 것. 지난 하루의 폴백(미처리된) 대화를 꼭 확인한다. 폴백 양의 증감도 확인하고, 어떤 질문에 응대를 못했는지 확인한다. 문제가 있을 때는 신규 결함으로 등록해, 기획 및 개발 일정을 협의한다.
2) WEEKLY : 서두르지 말고 차근차근히!
대부분의 서비스는 주 단위로 업데이트를 진행하는 경우가 많다. 정기 업데이트 시, 주로 미처리 발화 보완이나 개발 로직 수정 및 오류를 처리한다. 콘텐츠 추가 및 수정이 메인 업무인데, 단답형 질의응답 등록이나 삭제, 시나리오 변동과 더불어, 배너나 이미지 업데이트도 함께 준비한다. 자칫 빼먹기 쉬운 성과 분석용 트래킹코드도 추가한다. 데이터베이스 백업도 주 단위 혹은 월 단위로 처리한다.
주 단위 모니터링에서는 제대로 응답된 메시지도 랜덤으로 골라 대화 내역을 확인해 보는 게 좋다. (자연어엔진에서 정답이라고 내놓은 것도 정답이 아닌 경우가 많기 때문) 정기 업데이트 내역 중 중요한 항목은 데일리 모니터링 리스트에도 추가한다.
운영은 봇만 잘 바라보는 것에 그치지 않는다. 봇이 아닌 원 서비스(앱 혹은 웹)의 기능 업데이트를 주시해서 서비스와 봇이 박자를 맞출 수 있도록 한다. 또한 AI 기술의 발전이나 봇 트렌드 등을 주기적으로 파악하는 게 좋겠다. 가능하다면 주 1회 타사 벤치마킹도 운영 업무에 넣자.
3) MONTHLY : 숫자에 민감해야!
채팅플랫폼/자연어엔진 내 통계툴이나 별도 보유한 분석툴로 월간 데이터를 분석한다. 주간, 월간 별로 주요 인텐트에 변화가 있었는지, 갑자기 등장한 엔티티가 있는지, 고객의 주요 루트 상 변화가 있는지 알아본다. 또한 한 달 전체를 아우르는 폴백(미처리된) 메시지 전반에서 따로 이끌어 낼 수 있는 인사이트가 있는지도 찾아본다. 방문자수나 인터렉션의 증감은 프로모션, 광고, 노출 위치 변동 등에 직접적으로 연관이 있으니, 원 서비스(앱/웹)의 마케팅 활동 등도 미리 파악해두는 게 좋겠다. 숫자에 민감하지 않으면 고객의 반응과 운영 업무의 효과 사이의 상관관계를 도출하기 어렵다. "한 달간 운영했더니 뭐가 달라졌나요?"라고 물어보면, (결과가 좋든 나쁘든) 신뢰할만한 데이터와 인사이트로 무장한 월간 리포트를 내밀어 보자. 운영 업무와 숫자의 세밀한 상관관계를 파악키 위해 분석 코드를 따로 설정한다든지, 별도의 트래킹툴을 사용해 보는 것도 고려해 보는게 도움이 될 수 있다. 또한 월 1회 정도는 자잘한 프론트/운영툴의 보완이나 주기적 데이터 백업도 역시 잊지 말고.
도약을 위한 반복
소림사의 철없는 동자는 십 년을 매일같이 물동이를 길어내며 깨달음을 얻어낸다. 갑자기 혜성처럼 절대고수도 나타나긴 하지만, 그 고수도 분명 지구 저편 어딘가에서 매일 한바가지씩 물을 길었을 것이다. 지겹게 반복된 루틴에서만 발견되는 것들이 있다. 이런 반복된 업무와 계획된 분석을 통해서만이, 실질적인 사용자의 요구사항을 알아차릴 수 있다. 기술 혁신, 대단위의 기능 추가는 결정권자의 의지로 진행되겠지만, 고객이 진짜로 원하는 방향으로 더 나아지게 하는 사람은 그 목소리와 흔적을 매일 관찰하는 운영자일 수밖에 없기 때문이다. 힘냅시다, 운영팀!
버리는 데이터를 일하는 데이터로
AI 챗봇에서 나오는 데이터, 과연 얼마나 활용하고 계시나요?
AI 챗봇 운영비를 낮추고, 데이터로 마케팅에도 사용하고!
지금 당장 코코너티브로 챗봇의 가치를 올려보세요!
코코너티브 https://www.coconutive.com
AI 애플리케이션 플래닝 그룹, 젠틀파이는 텍스트봇, 음성봇, 스마트 디스플레이 등 다양한 챗봇을 제작하고 컨설팅하는 전문 에이전시입니다. 봇 설계와 자연어엔진에 충분한 경험을 가진 젠틀파이 hello@gentlepie.com에 연락 주세요.
관련해서 함께 읽어볼 만한 글
