98명의 유저를 만나고 beta서비스를 종료합니다.

9일동안 170번의 커밋, 잠을 못잤습니다.

내가 없어도 나처럼 답하는 챗봇을 만들었다

이직 고민, 이력서 피드백, 커리어 방향성. 연락 주시는 분들이 있다. 고맙다. 근데 하나씩 답변드리다 보니 늦어졌다.

그래서 브런치 글을 쓰기 시작했다. 근데 글이 쌓이니까 다른 문제가 생겼다. 글이 30개가 넘으면 어디서부터 읽어야 할지 모른다. 나에게 연락하시는 분들도 많은 브런치 글을 읽고 오셨지만 너무 글이 많아서 본인이 필요한 부분을 빠르게 흡수하는것에 어려움을 겪으셨다.

나를 복제했다. 내 글을 다 읽은 AI가 나처럼 이직 상담해주는 챗봇을 만들었다. 궁금한 거 물어보면 내 글에서 답을 찾아서 나처럼 답해준다.

셩PM 챗봇을 공개했다. 코드 한 줄 못 짜던 PM이 바이브 코딩으로 2시간 만에 만들고 배포했다.

만들 때는 몰랐다. 배포하고 나서 알게 된 것들이 있다. 그리고 9일 동안 운영하고 고치고 170번 커밋을 했다.

9일 동안 170번 커밋했다

MVP 런칭, 보안 강화, 어드민 대시보드, 이력서 분석 기능, 브런치 글 RAG 연동, 유입 경로 추적, 피드백 시스템까지. 혼자였으면 못 했다.

9일 동안 프로덕트는 이렇게 바뀌었다.

- 02/18 챗봇을 올렸다. 런칭 당일 바로 보안을 손봤다. 시스템을 뚫으려는 시도들이 들어왔다. 방어 구조를 보강했다. 전부 막았다. 어드민 대시보드도 만들었다. 근데 비밀번호 설정을 빠뜨렸다. 누구나 들어올 수 있었다. 바로 잠궜다. 이름 입력 단계는 없앴다. 진입 허들을 낮추는 게 먼저였다.

- 02/19 첫 화면을 바꿨다. 빈 화면에서 유저는 뭘 해야 할지 모른다는 가설이었다. 환영메시지, 추천질문, 브런치 글 카드를 채웠다. 평균 턴이 2.5 → 4.2로 올랐다. 맞았다. 이력서 PDF + JD 매칭 분석 기능도 붙였다. 어디서 들어왔는지 UTM 추적도 달았다.

- 02/20~02/22 브런치 글 연동을 다시 했다. 기존엔 글을 요약해서 넣었다. 정보가 얕았다. 이번엔 본문 전체를 청크 단위로 쪼개서 저장했다. 대화 중 관련 글을 실시간으로 검색해서 본문을 직접 참고하게 했다. RAG 구조다. 답변의 깊이가 달라졌다. 글을 쓰면서 동시에 챗봇에 연동했다. 글이 쌓일수록 챗봇도 깊어지는 구조가 됐다.

- 02/22 답변이 길수록 좋을 거라고 생각했다. 틀렸다. 길어지니 후속 대화율이 떨어졌다. 짧고 핵심적인 게 맞다. 좋아요/싫어요 피드백 버튼을 달았다. Google Analytics도 연동했다.

- 02/23 UI를 다듬었다. 채팅 너비, 헤더 정렬, 레이아웃. 작은 변화인데 읽기 편해졌다.

- 02/26 베타를 닫았다. v1.0 알림 이메일 수집 페이지로 전환했다.

베타 서비스에서 확인하고자 했던 가설들

내 글 기반으로 나처럼 답할 수 있는가? 그 결과, 유저에게 도움이 됐는가.

1. 내 글 기반으로 답했나. 됐다. 매 메시지마다 RAG가 작동했다. 구조적으로 증명됐다. 잘했다. 나만큼 잘 대답했다.

2. 나답게 답했나. 됐다. 더 친절한 버전으로. 내가 직접 어드민에서 답변을 전수 검토했다. 수정한 건 3건, 이유는 "너무 길다"였다.

3. 유저에게 도움이 됐나. 부분 확인이다. JD+이력서 매칭에서는 실사용 피드백이 있었다. 링크드인으로 직접 답장이 오기도 했다. 도움은 됐다. 근데 아쉬운 게 있다. 깊은 대화까지 이어지지 못했다. 한 번 답 받고 끝나는 경우가 많았다. 이건 v1.0에서 풀어야 할 숙제다.

그렇다면 숫자, 데이터는?

- 유저 98명. 대화 232건. 메시지 802건. 9일 동안.

근데 232건을 그대로 믿으면 안 된다. 빈 대화 51건, 테스트/장난 20건, 얕은 탐색 17건, 프롬프트 인젝션 시도 9건. 노이즈가 총 76건, 32.8%다. 걷어내면 진짜 사용은 156건, 유저는 91명이다.

- 유저 행동을 분류해봤다. 1턴만 하고 나간 탐색형이 55.2%. 절반이 넘는다.

가벼운 상담(2~3턴) 12.1%,

본격 상담(4~6턴) 6.5%,

심층 상담(7턴+) 4.3%.

노이즈 제거 후 기준으로 보면 44%가 2턴 이상 대화했다.

재방문율 27.6%, 헤비 유저(5회+)는 10명(10.2%).

- 피크 시간대는 오후 2시(68건). 점심 이후 이직 고민 시간대다.

자정~새벽 3시에도 23%가 활발했다. 출근시간대에도 사용할 수 있는 패턴을 추가로 만들 수 있지 않을까?

- 주요 상담 주제는 이력서(11.8%) → 포트폴리오(11.1%) → 면접(8.4%) → JD 분석(8.1%) 순이었다.

- 가장 인상적인 데이터는 이력서 분석 기능이었다. 이 기능을 쓰려면 이력서 PDF와 JD를 같이 올려야 한다. 진입 허들이 있다. 그래서 사용률이 6.1%밖에 안 됐다. 근데 쓴 사람은 달랐다. 재방문율 83.3%, 평균 턴 10.7. 안 쓴 사람(23.9%, 3.7턴)이랑 완전히 다른 패턴이다.

가설이 생겼다. 이력서 분석이 킬러 기능일 수 있다. v1.0에서 이 기능을 더 많은 유저한테 닿게 하면 답이 나올 것 같다.

베타에서 증명 것 : AI가 나 대신 답변하는 구조는 작동한다.

JD+이력서 매칭에서는 실제 가치가 확인됐다.

아직 못 증명한 것도 하나다. 유저에게 얼마나 도움이 됐는지. 답변에 대한 평가를 도입했지만, 체력적으로 을 너무 못자기도 했고 토큰이 너무 녹고있어서 서비스를 종료하며 정확히 측정하지 못했다. 이건 v1.0에서 측정해야 한다.

근데 이런 메시지가 왔다. 배포 시작점 부터 직접 써보고, 버그도 찾아주고, 오류도 알려준 분이 있었다. 서비스가 종료되자 커리어 고민을 이야기해주셨다. 결국 커피챗으로 이어졌다. 챗봇이 연결고리가 됐다.

내가 만들고 싶은것의 형상이 구체화되기 시작했다.

이직 고민을 함부로 꺼내기 어렵다. 직장 동료한테는 눈치 보이고, 친구한테는 설명이 길어지고, 선배한테는 폐 끼치는 것 같다. 혼자 끙끙 앓다가 타이밍을 놓친다.

이게 내가 만들고 싶었던 거였다. 커리어 고민, 이직, 채용. 그 외로운 순간에 닿는 것. 24시간, 눈치 없이, 내 경험으로.

beta는 시작이다. 이 고민을 가진 분들을 도울 수 있는 커리어 생태계를 만들고 싶다. 방향이 흐리하게 보이기 시작했다.