토스가 겪은 생성AI의 도전과 한계 이야기
[토스 스토리] 챗GPT가 열어가는 고객서비스의 변화
생성 AI, 그리고 웹 3가 공존하는 시대는 과연 성공할까?
생성 AI의 현황과 미래에 대한 관심이 뜨겁다. '생성 AI, 웹 3, 그리고 메타버스 융합이 가져올 기술의 미래'를 주제로 아시아 최대 규모 지식 기반 콘퍼런스 '더웨이브 서울 2023'이 28일 개최됐다.
생성 AI 기술에 대한 관심이 뜨거운 만큼 기업에 AI 기술을 적용한 사례를 다룬 ‘AI스킬업(Skill Up)’ 세션에 대한 열기도 뜨거웠다. AI스킬업 세션에서 하대웅 토스 최고제품책임자(CPO)는 ‘토스 CX에서 챗GPT를 활용한 업그레이드된 고객 경험 제공’ 사례를 소개했다.
아마존이 내다 본 10년 뒤에도 변치 않을 고객 욕구
하대웅 CPO는 토스 합류 전, 미국 아마존(Amazon)에서 최고제품책임자(부사장)를 지내며 결제 관련 고객 경험 개선 작업에 참여했다. 계산대에서 줄을 설 필요 없이 앱을 켜고 매장에 들어가 물건을 가지고 나오면 자동으로 결제되는 '아마존 고(Amazon Go)' 프로젝트가 대표적 예다.
아마존고 서비스의 시작은 ‘고객 경험 개선’에 있다. 단순히 인공지능을 적용한 무인매장이 목표가 아니었다. 아마존이 집중한 것은 기술 자체가 아니라 ‘10년이 지나도 변치 않을 고객의 욕구’다. 고객들은 물건을 살 때, 줄을 서기 원하지 않는다. 그래서 아마존고 매장에 들어서면 조명 근처로 인공지능을 장착한 카메라들이 고객들을 추적한다. 인공지능이 관리하는 무인매장에서 고객은 줄서기나 계산을 위한 별도의 노력 없이 물건을 구매해 매장을 나설 수 있다.
하지만, 무인 매장을 들어설 때 과정은 복잡했다. 휴대폰을 주머니에서 꺼낸 후 휴대폰을 켜고 아마존 앱을 찾고, QR 코드를 찾아 들어간 다음 스캔을 해야 되니 아무리 빨리해도 스텝이 5개다. 이 스텝을 하나로 만들기 위해 개발한 것이 ‘아마존원(Amazon One)’이다. 아마존원은 기본적으로 손바닥 결제다. 지문과는 달리 터치리스(touchless)로 손바닥 핏줄 패턴으로 고객을 식별한다.
아마존은 이로써 매장에 ‘들어갈 때 원 스텝(One step), 나올 때 지로 스텝(Zero step)’으로 ‘토탈 원 클릭 오프라인 경험(Total one click offline experience)’을 완성했다.
인공지능 기술을 ‘10년이 지나도 변치 않을 고객의 욕구’에 접목시킨 아마존의 대표적인 사례다.
Amazon One Service (Source: Amazon)핀테크의 AI 적용 핵심은 '검색, 추천'보다 '고객 만족'
하지만 토스는 아마존과 다르다. 금융 산업 특성상, 핀테크 고객의 특성은 커머스 고객과 다르기 때문이다.
커머스 고객들은 검색을 많이 한다. 슈퍼에 우유를 사러 왔다가 계획에 없던 토마토를 구매하기도 한다. 반면 금융 고객들은 검색을 많이 사용하지 않고, 원하는 상품은 확실하다. 은행에 대출을 받으러 온 고객이 신용카드를 발급받아 가는 경우는 많지 않다는 것이다. 이처럼 핀테크에서도 인공지능을 활용한 검색과 추천은 중요하지만 쉽지 않다. 그래서 토스가 생성AI 적용에 집중하고 있는 분야는 ‘고객 응대 서비스’였다.
토스에는 모든 계열사들의 고객 경험을 전담하는 ‘토스씨엑스(tossCX)’가 있다. 토스씨엑스의 첫번째 미션은 ‘고객에게 미친 만족감’을 제공하는 것이다.
하 CPO는 “고객에게 미친 만족감을 제공하려면 먼저 고객을 응대하는 분들도 업무에 만족감이 있어야 한다”고 했다. 그래서 반복되는 자주 묻는 질문들에 대해 FAQ를 만들고, 직원들을 위한 지식관리시스템(KMS: Knowledge Management System)을 활용한다. 이것이 현재 솔루션이다.
인공지능을 적용한 한 예로는, 토스 모바일에 적용된 ‘스피치 투 텍스트(Speech To Text)’ 서비스가 있다. 휴대폰 계약자 변경시 인공지능이 고객 대신 이전 통신사의 ARS로 전화를 걸어 허들 높은 대화를 하고, 고객은 화면으로 정리된 내용을 보는 방식이다.
이처럼 토스가 원하는 궁극적인 솔루션은 생성AI와 함께 고객이 하는 90%의 유사한 질문과 답변을 인공공지능이 해결하고, 상담원은 꼭 필요한 20% 정도의 복잡한 케이스만 다루도록 하는 것이다. 이것은 궁극적으로 고객과 직원 모두의 만족도를 높일 수 있을 것으로 기대하고 있다.
이를 위해 토스는 생성AI를 활용해 자체 챗봇 개발을 택했다. 자체 챗봇 개발의 성공 판단 첫번째 기준은 챗봇 응답의 ‘정확도(accuracy)’다. 답변의 정확도 판단을 위해 고객의 질문에 대해 정확하게 분류 했는지, 답변 분류 이후 제대로 검색 됐는지, 그리고 프롬프트(Prompt) 퍼포먼스 세 가지를 평가한다.
토스는 버전 5.0의 챗봇 개발 단계까지 이르렀으나, 하 CPO에 따르면 아직도 도전적인 과제들은 산재해 있다.
Shutterstock생성AI 챗봇의 도전과 한계
1. 지나친 자신감으로 '썰을 푸는' 챗봇
아이러니하게도 생성AI 챗봇 개발의 가장 큰 도전 중 하나는 ‘컨피던스(confidence)’를 떨어뜨리는 것이다. 챗GPT는 부정확한 정보로 그럴듯한 썰을 풀어내는 경우가 종종 있다.
그래서 챗봇을 개발하는 입장에서는 모르는 걸 모른다고 답변할 수 있게 만드는 게 핵심이다. 질문에 대한 답을 하는 것이 아니라 애매하고 그럴듯한 정보를 풀어내는 걸 막아야 한다.
2. 장기 기억력이 없다
API는 이전 세션을 계속 유지하는 것을 지원하지 않는다. 이전 질문에서 끊기면 맥락을 이어갈 수 없다. 영구 기억이 안된다. 그래서 4000자 안에 원하는 것을 모두 넣어야 한다. 이전 히스토리를 이어가는 장기 기억이 불가능하기 때문에 맥락이 끊어지는데, 현재 채팅 형태의 서비스에서 가장 결정적인 한계로 꼽힌다.
3. 반응 시간 지연
반응 시간도 중요하다. 반응 시간이 15초 이상 되면 곤란하다. 고객과 대화 중 이전 내용에 대해 재생성을 원할 경우 반응 속도가 점점 느려지는 경우가 있다. 생성AI 챗봇 서비스에 있어서 이는 치명적인 약점이다. 반응이 느리면 고객에게는 ‘전화'라는 대안이 있기 때문이다.
4. 3%의 오류율
챗GPT는 유사한 콘텐츠가 버전 별로 다른 경우, 이에 대한 비교 분석 정리는 아주 뛰어나다. 하지만 아이러니하게도 인공지능이라 100% 정확할 수 없다. 정확도(accuracy) 목표가 97%인데, 3%의 에러가 숫자에서 나오는 것은 용납할 수 없는 부분이다. 핀테크 기업에서 챗GPT가 숫자 관련된 것에 대해 실수할 경우, 고객의 신뢰를 아주 쉽게 잃을 수 있기 때문이다.
5. 데이터의 양(Quantity)보다는 질(Quality)
챗GPT는 인풋의 양을 늘린다고 해서 아웃풋인 답변을 더 잘하는 경우는 없다. 챗GPT가 답변을 더 잘하는 경우는 얼마나 정확한 데이터를 주느냐가 중요하다. 결국 정확한 답변을 위해서는 데이터의 양보다는 질이 더 중요하다는 얘기다.
토스 챗봇 버전 4.0에서 정확도 목표 90%를 가지고 퍼블릭 베타를 가기 원했지만 정확도가 80%에 멈췄다. 그래서 버전 5.0을 시작할 때, 인풋이 좋아야 이제 아웃풋이 정확하다는 것을 깨닫고, 데이터의 퀄리티에 집중했다.
물론 고객 데이터 중 일부를 제공하면 챗GPT가 훨씬 더 정확한 답변을 줄 수 있다. 하지만 고객 데이터를 줄 수 없다 보니 고급정보는 남겨 놓고 나머지 일반적인 정보를 제공하게 된다. 이런 경우, 제공된 일반적 정보와 고객과 상호작용을 통해 얻은 데이터를 합쳐서 답변을 만들어야 하기 때문에 고객센터 문제 해결에 한계가 있다.
읽어주셔서 감사합니다.
해당 글 전문은 더밀크에 기고했습니다.:)
#토스 #Toss #cx #chatgpt #chatbot #AI #생성AI #고객응대 #상담서비스 #고객만족 #Amazonone
