AI와 함께 이끌어온 2개의 스쿼드
주니어 데빈(Devin)과 클로드(Claude)
올해 들어 제품 내에서 살펴야 할 피처의 넓이와 깊이가 모두 깊어졌고, 인수한 제품의 특성상 우리가 아직 모르는 동작도 훨씬 많았습니다. 와중에 2개의 스쿼드의 PO 역할을 담당하려다 보니 물리적으로 혼자 감당할 수 있는 범위를 이미 넘어선 상황에서, 두 주니어 AI 가 빈자리를 꽤 단단하게 채워줬습니다.
Devin은 코드베이스를 꿰뚫는 주니어 Dev
Claude는 제품 로드맵 구축부터 백로그 배포 이후의 후속 기획까지 함께 뛰는 주니어 PO
Devin : 코드 및 데이터베이스를 꿰뚫는 주니어 Dev
Devin에게 부여하는 역할은 크게 네 가지입니다.
[Reader] "이 기능 지금 어떻게 동작해?" 하고 물으면 코드를 읽고 플로우를 정리해 주고, 관련 수치까지 뽑아줍니다. 복잡한 코드를 대신 읽고 구조화해 주기 때문에, 기획 단계에서 많은 리소스를 아낄 수 있습니다. 인수한 제품이라 우리가 모르는 동작이 훨씬 많은 환경에서는 특히 유용합니다.
[Debugger] 문제가 터졌을 때 원인을 함께 디깅 합니다. 영향을 줄 수 있는 코드 내 다양한 변인을 같이 검토해 주고, 과거 커밋 히스토리까지 알고 있기 때문에 "이전에는 어떻게 동작했는지"도 추적할 수 있습니다.
[Developer] 간단한 코드 수정은 직접 해주기도 합니다. 물론 더 대단한 개발도 해주기야 하겠지만, 아직은 그 결과물을 온전히 신뢰하기 어려운 단계입니다. (그가 책임을 지지는 못하기 때문에…) 운영상의 불편함을 한 번의 코딩으로 갈음해 주는 역할도 해주곤 합니다. 사실 이 역할을 더 많이 활용해야 하는데, 이번 분기에는 미진했네요. 다음 분기를 기약해 봅니다. 아무래도 백로그가 잔뜩 쌓여있을 때 더 빛을 발할 것 같네요.
[DA] 예상 임팩트 계산, 코호트 분석, 교차 분석도 수행합니다. 매출 데이터만 해도 웹 결제냐 앱 결제냐에 따라 참고해야 할 소스가 다르고, 유저 액티비티 값 역시 서버 값과 클라이언트 값을 잘 교차해서 써야 합니다. Devin은 AMP, Stripe, Qonversion 등 여러 데이터 소스를 넘나들며 이걸 해주고, taxonomy도 이미 파악하고 있어서 매번 설명할 필요가 없습니다. 또한 때로는 무의미해 보일 수 있을 정도로 세세한 데이터 분석을 해보고 싶을 때가 있는데 (간혹 그 속에서 좋은 시드를 찾을 때가 있긴 하니까) 그럴 때도 데빈이는 묵묵히, 또 빠르게 결과 값을 가져다주어 속 시원함을 제공해주기도 합니다.
Claude : 제품 전략부터 기획까지 함께하는 주니어 PO
Claude의 메인 역할은 세 가지입니다.
[Discussion Partner] 가장 많이 쓰는 역할입니다. 문제 정의가 틀어졌을 때, 더 나은 대안이 있을 때, 논리에 구멍이 있을 때, 리스크를 놓쳤을 때 - 대화를 통해 잡아냅니다. 실제로 백로그 검토 및 쟁점 정리, 온보딩 이후 문제 정의와 솔루션 기획, 스쿼드 회고 정리, 온보딩 플로우 재구성 등 다양한 국면에서 이 역할을 활용했습니다.
[Document Editor] 저는 맥락을 최대한 주기 위해 raw data를 통째로 던지는 편입니다. 두서없이 적어 내려 간 사고 흐름, 유저 인터뷰 원문, 서베이 응답 같은 날것의 데이터를 문서 목적에 맞게 정리해 줍니다. 대부분의 PRD와 분석 문서 등 주요 문서들은 클로드가 작성해 주죠. 특히 이번 분기는 영어권 국가 유저 인터뷰를 진행하느라 영어 <> 한국어 간 넘나듦이 문서상에서도 빈번했는데, 알아서 어련히 깔끔하게 잘해주니 이보다 든든할 수 없었죠.
[DA] 주어진 데이터와 기획 의도, 맥락을 기반으로 가설을 검증하고 후속 액션 아이템을 뽑아줍니다. 데빈이가 실제 코드 베이스와 데이터베이스를 넘나들 수 있는 역량이 있다면, 클로드는 그걸 읽고 해석하는 두뇌가 더 명석합니다. 둘의 합작으로 유의미한 분석 결과들을 내주고 있습니다.
데빈이가 필요한 데이터 뽑아주고, 클로드가 전체 맥락에서 정리해 주고 -마이너 한 활용도 있습니다. [Visualizer] 로서 그래프, 다이어그램, 발표 자료 같은 것들을 빠르게 만들어주고, [Copywriter] 로서 완벽한 카피는 아니더라도 시드를 발산하는 데 도움을 줍니다. 반면 [Researcher]로는 거의 쓰지 않습니다. 보통 레퍼런스 리서치를 할 때에는 실제 그 앱들을 직접 만져보며 화면과 플로우를 확인해야 제대로 알 수 있는 영역이라, AI가 대체하기 어렵습니다.
잠시 희망을 가졌지만, 결국 내가 직접해야 하는 부분들이다.주니어를 다루듯이
여기까지 읽으면 "딸깍" 한 번이면 다 해주는 것처럼 들릴 수 있습니다.
하지만 이 둘은 결국 주니어입니다. 그것도 성향이 좀 다른 주니어들입니다.
기대치를 어느 정도 낮추고 적절하게 위임을 해야 합니다.
Devin은 부지런하지만 좀 덜렁거리는 타입입니다.
참고해야 할 코드베이스나 데이터 소스를 착각하는 경우가 종종 있어서, 결과물은 반드시 크로스체크해야 합니다. 또한 조사해야 할 영역을 명확히 좁혀주지 않으면 꽤 멀리, 엄한 곳까지 헤매다 돌아오기도 합니다. 스코프를 잘 잡아주는 게 중요합니다.
Claude는 더 똑똑하지만, 다른 종류의 주의가 필요합니다.
전체 맥락을 다 품지 못하기 때문에 우선순위를 혼자 잘못짚을 때가 있고, 불필요한 내용을 과하게 담아서 오히려 가독성을 떨어뜨리기도 합니다. 없어도 전체 이해에 지장 없는 건 과감히 쳐내는 게 좋습니다. 임팩트 추정에서는 여러 변수에 가정 치를 넣는 경우가 있는데, 그 가정치가 적절한지는 PO의 직관으로 반드시 검증해야 합니다. 정리된 결과물의 직접 검수는 필수입니다.
둘 다 결국 같은 원칙이 적용됩니다.
맥락을 나보다는 잘 알 수가 없습니다. 가장 상위에서의 머리 역할은 제가 수행해줘야 합니다.
다만, 주니어를 다루듯이 대한다는 건 한계만 인식하라는 뜻은 아닙니다.
맥락을 잘 넘겨주고, 역할을 명확히 정의하고, 피드백을 주면, 똑똑한 주니어답게 점점 더 일의 합이 맞아집니다. 가르쳐주면 가르쳐줄수록 일을 더 잘하는 친구들입니다.
AI 기술이 워낙 빠르게 발전하고 있으니,,,
다음 분기에는 이 둘의 직급을 올려줄 수 있지 않을까,,, 기대하고 있습니다.
아 그리고 느낌이 둘이 직접 소통할 수 있게 해 두면 더 수월할 것 같은데, 그건 다음 분기에 -