brunch

You can make anything
by writing

C.S.Lewis

by 노바 Jun 30. 2024

낮은 사용자 이해도,
실패할 수 밖에 없었던 이유

신입 개발자의 제로투원 이야기 (2)

저는 현재 회사에서 VOC STUDIO 라는 VoC (Voice of Customer) 취합, 관리, 분석 B2B SaaS 를 개발하고 있습니다. 아이디어 발굴부터 서비스 유료화까지 모든 과정에 참여했기에 많은 애정과 주인의식을 가지고 있는 서비스인데요.

너무 익숙해서 였을까요? “새로운 것에 도전하고 포기하는 일련의 과정을 기록합니다.” 라는 제 블로그의 주제에는 회사에서의 고군분투가 어울리지 않는다고 생각했습니다. 그러다 이 무모한 이야기를 재밌어하고, 이에 자극을 받는 사람들을 종종 만나며 생각이 달라졌습니다. 이어지는 글은 독백의 느낌을 주기 위해 평어체로 작성합니다.

1편) 반복되는 실패에 낮아지는 자기효능감

2편) 낮은 사용자 이해도, 실패할 수 밖에 없었던 이유

3편) TBU

4편) TBU

채널톡 상담 요약 기능

우연히 만나게 된 채널톡 상담 요약 기능, 이는 채널톡에서 고객과 CX 매니저 사이에 오고 간 대화 내용을 짧게 요약해 주는 기능이다. 개발자 2명으로 구성된 우리 팀이 가장 잘할 수 있는 일이자, 지금까지 해왔던 것이었다. 요약 기능 개발을 우리 팀에서 전담하기로 결정한 이후, 아래의 내용들을 확인하기 위해 타겟 유저였던 CX 매니저들을 열심히 만났다.

정말 상담 내용 요약을 필요로 하는지

어떤 형식과 내용의 요약을 원하는

현재 직접 요약을 하고 있지 않다면 이유는 무엇인

현재 직접 요약을 하고 있다면 아쉬운 점은 무엇인지

개발자 둘이서 동분서주 서울을 누볐고, 당시 30명 내외의 CX 매니저들을 만난 것 같다. 인터뷰 결과 50% 의 회사가 수기로 고객 문의를 요약을 하고 있다는 사실을 알게 되었다. 수기로 요약을 하지 않고 있던 회사의 절반은 리소스의 문제였다.

그러면 우리가 AI 요약을 잘 제공하면 대부분 쓴다는 거네?

부끄럽지만 정말 나이브하게 위처럼 생각했다. 요약 기능이 대체 CX 매니저들의 어떤 문제를 해결하는지, 해결한다면 그 문제는 돈을 낼만큼 고통스럽고 빈번한지 등 과 같은 고민들을 깊게 하지 못한 채 개발을 시작했다. 그래도 인터뷰는 요약의 형식과 내용을 결정하는데 큰 도움을 주었다.

당시 가장 높은 성능을 보였던 논문을 기반으로 언어 모델 학습 코드를 작성해 나갔다. 수십 GB 단위의 데이터와 한정된 학습 장비로 꽤 큰 모델을 학습시켜야 했기 때문에 신경 쓸 것이 많았다. 6개월 만에 70만 줄의 코드를 작성했으니, 3년간 회사를 다니면서 개발을 가장 많이 했던 시기일 것 같다. 처음으로 확장성 있고 큰 규모의 코드 베이스를 구축했고 개발자로서 크게 성장했다고 느꼈다. 지난 1개월간 낮아졌던 자기 효능감을 완전히 채우는 시간이었다.

그렇게 요약 기능 개발이 완료되고 2022년 10월 27일, 상담 요약 기능이 베타 릴리즈 되었다. 신기하고 실제로 요약 성능이 좋다는 반응들은 많았지만 딱 거기까지였다. 상담 요약 기능은 기존에 요약을 하고 있던 CX 매니저의 업무를 대체하지 못했다. 성능도 문제였지만, 이들이 요약을 왜 필요로 하는지, 상담 요약은 페인 킬러가 맞는지 등에 대한 고민을 깊게 하지 못한 것이 문제였다.

당연한 얘기지만, CX 매니저의 어떤 문제도 확실하게 풀어주지 못했기 때문에 반응은 차가웠다. 실질적으로 사용하는 기업은 거의 없다고 봐야 했다. 꼬박 6개월을 사용했는데 PMF 찾기에 완전히 실패했고, 나는 린스타트업의 대척점에 있었다. 이후 몇 개월 간 사용자 피드백을 바탕으로 요약 성능을 개선하며 형식도 바꿔봤지만 반응은 오지 않았다.

자체 서비스의 필요성

상담 요약 기능에 대한 차가운 반응은 사용자의 확실한 문제를 풀어야겠다는 문제의식과, 채널톡 내 기능에서 그칠 것이 아니라 우리만의 서비스를 만들어야겠다는 생각으로 이어졌다. 사용자의 확실한 문제를 자체 서비스로 풀어내 자는 온도감이 높아지면서 우리는 VOC STUDIO에 대한 꿈을 조금씩 키워나갔다.

상담 요약은 모든 메시지를 읽지 않아도 상담에서 고객의 문제를 파악하는 데 도움이 되는 기능이다. 그러면 대화 내용으로부터 고객의 문제를 파악하는 행동은 언제 많이 일어날까. 사용자들과의 인터뷰에서 확인한 것은 VoC 취합 과정이었다. 많은 CX 매니저들은 여전히 문의를 한 건 한 건 읽으며 정리한 뒤, 스프레드시트에 VoC를 취합하고 있었다. 그리고 대부분 이를 사내에 공유하거나, CX 리포트를 작성하는 데 사용했다.

그렇게 VoC 관리/취합 과정에서의 문제들을 해결하자는 막연한 생각과 함께 뭐라도 하자는 마음으로 2023년 3월 16일 채널톡이 주최한 CX 세션에 참가했다. 여기서 CX 매니저들이 실제 업무 과정에서 어떤 페인 포인트를 가지고 있는지에 대한 생생한 이야기를 들을 수 있었다. 이를 정리하면 아래와 같다.

사용자와 최전선에서 만나는 CX 매니저들은 제품 개선에 대한 인사이트가 많다.

그러나 이를 데이터로 수치화하기 위한 리소스가 부족하다.

대부분이 VoC를 엑셀로 수기 취합/관리하고 있었으며 이는 노동 집약적인 과정이다.

이러한 내용은 VOC STUDIO에 대한 불을 지폈다.

나는 무엇을 배웠는가?

기술이 아닌 사용자의 문제에 집착하자. 우리가 풀 수 있는 사용자의 문제를 정확하게 상정하고, 이 문제가 돈을 낼만큼 고통스럽고 빈번한지 생각해 보자. 사용자가 이 문제를 왜 겪고 있고, 무엇으로부터 비롯되는지 끊임없이 들어야 한다. 내가 언젠가 창업을 하게 된다면 사용자를 깊이 이해하고 있는 도메인이나 나 스스로가 사용자인 제품을 만들겠다는 다짐을 한 것도 이때쯤이었다.

그리고 사용자를 만나는 횟수가 사용자 이해도와 비례하지 않는다는 사실을 알게 되었다. 사용자를 만나더라도 핵심적인 페인 포인트를 파악하지 못하면 만나지 않은 것과 다름없다. 또 집요하고 좋은 질문을 통해 페인포인트를 알게 됐더라도, 정리해서 소화하지 못하면 만나지 않은 것과 다름없다. 사용자와 대화를 자주 한다는 것만으로는 사용자에 대한 이해도가 높아지지 않는다는 것, 그렇기에 사용자를 만나고 있다는 사실에 취하면 안 된다는 것을 배웠다.

돌이켜보면 하나부터 열까지 아쉽다. 더 사용자의 문제에 집착할 수 있었고, 더 열심히 그리고 빠르게 잘할 수 있었다. 그러나 그러지 못했다. 그래도 시간이 지나 이런 감정이 드는 것을 보면, 어쩌면 그새 성장한 것일 수도 있겠다. 아쉬움이 가득한 10개월이었지만, 그래도 어쨌든 빠르게 실행해서 무엇인가를 만들어냈다는 사실만이 내게 위안을 주는 것 같다.

아쉬움이 많이 느껴지는 글이고, 실제로 그렇다고 말도 했지만 그래도 내가 가장 좋아하고 믿는 것은 허준이 교수님께서 하셨던 말이다.