brunch

You can make anything
by writing

C.S.Lewis

by 채널톡 Sep 02. 2024

스티비, AI 챗봇으로 고객 문의 22% 줄이다

스티비는 누적 7만명의 가입자를 보유한, 국내에서 가장 유명한 이메일 뉴스레터 서비스입니다. 뉴스레터가 점점 브랜딩과 콘텐츠 소비의 핵심 창구로 자리잡고 있는 시대, 스티비 역시 꾸준히 사용자를 늘리며 탄탄하게 성장하고 있죠. 2016년 정식 서비스를 출시한 이래 꾸준히 매출을 내며 뉴스레터 서비스의 대표주자로 자리매김했습니다.

그러나 이렇게 순탄히 성장하고 있는 스티비 팀에도 한 가지 고민이 있었습니다. 바로 CS 효율화였는데요. 늘어난 고객만큼 CS도 증가했기 때문입니다. 스티비 팀에서는 물고기를 잡아 주기보다는 물고기 잡는 방법을 알려주듯, 고객이 '셀프 서브'가 가능하도록 하는 것을 중요시 여기기 때문에 이를 구현할 방법에 관심이 많았는데요. 스티비가 선택한 것은 바로 채널톡의 AI 챗봇, ALF(알프)로 CS를 효율화하는 것이었습니다.

스티비가 쓰고 있는 ALF의 기능은 크게 두 가지. 자주 들어오는 질문과 답변을 등록해 ALF가 스스로 고객의 질문 의도를 파악하고 정확한 답변을 할 수 있도록 하는 ‘FAQ’와 도큐먼트에 등록된 지식을 참고해 보다 풍부한 답변을 할 수 있도록 하는 ‘RAG’였습니다. 스티비 ALF는 전체 문의 중에서 혼자 처리해낸 문의가 22%에 달할 정도의 성과를 냈죠.

다만 스티비의 경우 뉴스레터를 보내는 주체가 대부분 기업/단체이고, 개인이라도 비즈니스적 성격을 띤 경우가 많기 때문에 B2B 비즈니스의 성격이 강합니다. 또한 B2B 비즈니스는 문의 유형이 다양하고 난이도가 높아서 효율화하기 까다롭다는 특징이 있는데요. 과연 스티비 같은 B2B 비즈니스에서는 ALF가 어떻게 활약하고 있는지, 스티비의 AI 상담 사례에 대해 스티비 김동희 매니저를 만나 자세한 이야기를 들어 보았습니다!

한 건이라도 AI 챗봇으로 처리가 된다면

Q. 스티비는 상담량을 줄이는 게 절실한 상황이었다고 알고 있습니다. 전체 상담량이 어느 정도인지 알 수 있을까요?

A. 일 단위로 하루에 많으면 50~60건, 적으면 30~40건 선이에요. 한 달 기준으로는 800~900건 수준이고요.

Q. ALF가 출시되기 이전부터 OTM을 통해서 ALF를 알고 있었고, 출시되자마자 '한번 써 보자' 하고 써 보셨다고 알고 있습니다. 처음에 AI 챗봇을 쓸 때 불안한 마음은 없으셨나요?

A. 없지는 않았어요. 하지만 처음에는 고객 질문의 의도를 인식해서 정확한 답변을 내보내는 ‘FAQ’만 도입하니까 크게 걱정하지 않았어요. 또 완전 초창기니까 완벽할 거라고 기대하지는 않았고, 정말 단순한 문의 한 건이라도 AI 챗봇으로 처리가 된다면 도입하는 게 맞다고 생각했어요.

Q. 지금 스티비 채널에서는 두 번 연속으로 '다른 문의가 있어요'를 누르면 바로 AI 에이전트(상담사)가 뜨잖아요. 이렇게 설계한 이유가 있으실까요?

A. 고객들이 최대한 스스로 해결할 수 있도록 정보를 최대한 알려드리고, 그래도 안 되면 담당자가 직접 도움 드리는 방향으로 설계했습니다. 일단은 질문 빈도가 가장 상위인 FAQ 위주로 구성했어요.

스티비 ALF 활용 성과

Q. 스티비의 ALF 사용 현황을 보니까 일주일 전체 상담 건 중에서 AI로만 처리한 상담이 22% 수준이네요!

�본 인터뷰에 언급된 22%는 스티비의 ‘전체 상담 건’ 중에서 ‘ALF가 응대했으며 상담원으로 연결되지 않고 끝난(=ALF 혼자 응대한) 건’의 비율을 의미합니다. ALF 통계에 뜨는 ‘ALF의 상담 절감률’은 ALF가 응대한 상담 중에서 상담원으로 연결되지 않고 끝난 건의 비율로, 조금 다른 개념입니다.

문의 유형이 다양하고 난이도가 높은 B2B 비즈니스에서 22%면 ALF의 해결률이 아주 높은 편이에요. AI 챗봇의 효과가 크다고 생각되는 FAQ 문의 유형은 뭐가 있었을까요?

A. '환불 요청' 문의요. 사실 환불 요청이 들어오면, 저희 입장에서는 환불 가능한 건인지도 확인해야 하고 취소 처리 절차도 있으니까 시간이 조금 걸려요. 그런데 고객 입장에서는 돈을 돌려받고 싶은데 답변이 오지 않으면 불안하잖아요. 그래서 답변이 빨리 오지 않으면 자꾸 '답변해 주세요'라고 메세지를 보내세요. 그렇다면 고객 입장에서는 '당신의 환불 요청이 접수됐고, 저희가 확인하고 답변을 드릴게요' 이 메세지만 전달되면 기다릴 수 있잖아요.

AI 챗봇을 세팅해서 '문의가 잘 접수됐고, 기다려 주시면 3일 이내에 답변을 드리겠다' 이 대답이 1차적으로 나가니까 답변을 재촉하는 메세지가 거의 없어졌어요. 일주일에 10건 내외로 들어오는 유형의 문의인데, ALF의 타율이 정말 좋습니다.

Q. 결국 영업일 기준 3일 이내에 사람 상담사가 안내를 해주기는 하니까, 여기서 ALF의 역할은 말 그대로 고객을 안심시켜 주는 거군요.

A. 네, 그런데 사실 그게 안 되면 고객들이 불만을 느껴요. 그래서 저는 되게 만족스러웠습니다.

Q. 저희는 B2B 기업에는 RAG가 좀더 유용할 거라고 보고 있는데, RAG는 어떠셨나요?

A. 너무 좋았어요. B2B, IT 기업들은 도움말을 되게 탄탄하게 만들어 두잖아요. 고객이 도움말만 보고도 셀프 서브 가능하도록. 그런데도 잘 안 읽는 고객들이 많죠. 그러다 보니까 도움말은 잘 만들어져 있지만 사실상 잘 쓰이지는 않는다는 고민이 항상 있는데... 이 도움말을 기반으로 답변이 생성되는 게 정말 좋았어요.

Q. 공들여 만든 도움말이 좀더 활용된다는 게 좋으셨던 거군요!

A. 네, 답변 내용도 정확하고요. 말씀해 주신 것처럼 저희는 문의 유형이 정말 다양해요. 같은 이메일 제작 관련 문의라고 해도 에디터 관련 문의인지, 이미지 업로드 관련 문의인지... 정말 다양해서 FAQ로 커버하는 데에는 한계가 있거든요. 그런데 도움말에서 추출해 오니까 답변 적중률도 되게 높아지더라고요.

Q. AI가 RAG를 활용해 이런 건 특히 잘 대답하는 것 같다, 하는 문의 유형이 있으셨나요?

A. 모든 단순 문의에 잘 답변해요. 정말 간단하게는 '이메일에 추가할 수 있는 이미지 크기는 어떻게 되나요?' 아니면 주소록에서 구독자가 수신 거부하면 요금제에 반영되나요? 이런 문의들, 되게 간단한데 엄청 자주 들어오거든요. 단순한 문의는 ALF가 바로바로 소화하고, 최근에는 이미지도 읽더라고요?

Q. 맞아요, ALF는 이미지에 들어가 있는 글씨를 잘 읽습니다.

A. 저희가 SPF, DKIM 설정이라고, 안정적으로 이메일을 보내려면 발신자 이메일 주소에 스티비 값을 세팅해야 하는, 기술적인 영역이 있어요. 이게 단어부터 어렵다 보니까 문의로 이어지는 경우가 정말 많습니다.

사용자들이 보통 이 문제를 어떤 식으로 인지하게 되냐면요. 이메일을 보냈을 때 구독자가 받은 메일에 '이 메일은 ㅇㅇ을 통해 발송된 메일이 아닙니다' 이런 식으로 경고 문구가 떠서, 어떻게 없애는지 물어보러 많이들 오세요. 이때 보통 화면 캡처를 많이 보내시는데, ALF가 캡처만 보고도 ‘이게 SPF, DKIM 설정 문의구나’ 이해하고 답변하더라고요.

스티비의 ALF 개선 루틴

Q. 초반에는 고객이 ALF가 대답을 잘 해줘도 믿지 못하고 무조건 '상담원 연결'을 누르는 경우도 많았다고 알고 있어요. 지금은 많이 줄어들었다고 하셨는데, 왜 줄었다고 보세요?

A. 처음에는 단순히 ALF의 답변이 자연스럽지 않아서 그러는 경우도 있었고요. 저희 FAQ 시나리오가 다양하지 않았던 탓도 있죠. 사실 저희가 세팅을 잘 못한 게 가장 큰 이유였다고 생각해요.

Q. 고객이 AI 챗봇의 답변을 믿지 못하는 건 감성적인 문제라 어떻게 해결됐는지 궁금했는데, 결국 세팅을 고도화하셔서 ALF 답변의 퀄리티가 올라간 덕분이었군요. ㅎㅎ

A. 사람에 따라서 ALF가 백 마디 대답해 주는 것보다 상담원이 세 마디 대답해 주는 걸 더 좋아할 수도 있죠. 어쩔 수 없는 영역이라고 생각해요. 다만 ALF의 답변으로 궁금했던 내용을 바로 확인하고 해결할 수 있는 고객이라도 잡고 싶다면, ALF를 계속 고도화하는 게 맞는 것 같아요.

Q. 처음에는 질문을 ‘벌크’로 등록하셨을 것 같은데, 그때 참고했던 자료나 데이터가 있으실까요?

A. 저희가 매주 VoC를 리뷰하는 시간을 가져요. 그때 공유됐던 자주 들어오는 문의 항목들을 정리해서 업로드했고요. 저희 도움말에 있던 '자주 묻는 질문'도 벌크로 추가했습니다. 그리고 저희가 알프를 도입하면서 워크플로우 개선 작업도 같이 했는데, 워크플로우 시나리오에 있던 질문 중 대부분을 들어냈거든요. 그 들어낸 질문들도 알프에 등록했습니다. 처음에는 50개 정도의 질문으로 시작했고, ALF를 도입하고 나서 매일 하루에 2~3개씩은 새로 등록해서 지금은 200개가 넘어요.

Q. 안 그래도 매일 ALF 개선 작업을 하신다고 들었어요.

A. 매일 오전에 출근하면 전날 상담 내용을 살펴보고 이 중에서 ALF가 소화할 수 있는 내용, 그런데 FAQ에 등록되어 있지 않은 내용을 새로 등록해요. FAQ에 등록되어 있는데 고객이 조금 다른 표현을 써서 ALF가 답변을 못한 건이면 그 고객의 질문을 FAQ ‘추가 질문’에 등록하고요. FAQ가 답변할 수 있었는데 답변 내용이 불충분해서 고객이 추가 질문을 해서 상담으로 유입된 경우라면 답변을 좀더 자세하게 보완하고 있어요.

키우는 만큼 효과가 나는 ALF

Q. ALF를 세팅하는 업무 자체가 부담으로 느껴질 때는 없으세요?

A. 저는 사실 ALF가 좋아요. 뭔가 하면 성과가 나타나잖아요. 사실 지금 상황에서는 다른 방법이 없기 때문에 알프 세팅을 어떻게든 개선해서 잘 써야 하는 사명을 안고 있다고 생각하고, 그게 좋아요. ALF가 대답하는 걸 보면 가끔 잘못 대답하거나, 잘못한 건 아니라도 애매한 답변들이 분명히 있거든요. 추적해 보면 원본 데이터가 애매하게 쓰여 있어서 애매한 답변이 나온 거였더라고요. 도큐먼트 내용을 좀더 명확하게 수정한다든가, FAQ 답변에서 좀더 중요한 내용에 강조 표시를 한다든가, 이런 식으로 수정할 방향이 명확해서 저는 좋아요.

Q. 결국 매니저님에게 ALF는 답이 있는 문제 같은 느낌인 거네요. 신경쓰면 신경 쓰는 만큼 효과가 나는. 스티비 ALF의 역할 설명을 보면 매니저님이 그간 많은 시행착오를 거쳐 ALF를 세팅해 왔다는 느낌이 확 와요.

A. 네, 그리고 AI의 흐름은 거스를 수가 없거든요.

Q. 저희 채널팀도 이제는 AI를 잘 쓰는 사람이 차세대 인재가 될 거라고 생각해요. 매니저님은 생성형 AI가 적용된 툴을 실무에 직접 써 보니까 어떠셨어요? 개인적 용도로 챗GPT를 쓰는 경험과는 또 달랐을 것 같아서요.

A. 그렇죠. 챗GPT는 AI가 준 답변을 제가 한번 더 이해하고 가공하는 데에 가까운데, ALF는 제가 입력해둔 데이터가 AI 챗봇의 백그라운드가 되는 셈이잖아요. 소감은... '생각보다 잘한다'. 제가 기대했던 것보다 훨씬 잘 답변해요. 처음에는 좀 어색한 답변도 있었는데 많이 개선됐고요. 이제는 고객 말투를 따라하기도 하더라고요. 얼마 전에 고객 분이 '귀사의 번창을 기원합니다'라고 하면서 질문을 남기셨는데, 알프가 '저도 번창을 기원합니다' 이러면서 답변하더라고요. ㅎㅎ