[AI] AI 시대에 PM으로 살아남기 - (2)
AI를 사용해서 기획하는 방법
은 나도 모른다.. 알고싶다. 그래도 서부에 있으면서 좋은 점은 PM 네트워크가 크다는 것이다. 커피챗 하면서, 강연 들으면서, 수업 들으면서 배웠던 내용을 정리해본다.
1. 불쾌한 골짜기를 피하자
AI로 팟캐스트를 만들어주는 서비스를 런칭한 적이 있는 PM을 만났다. AI를 프로덕트에 추가하면 어떤 변화가 있는지 물었는데, 의외로 그는 사람들의 감정을 이야기했다. 손가락 여섯 개 달린 이미지처럼 결과물 자체가 불쾌한 골짜기였던 것은 아니었다. 오히려 사람이 정말 말하는 것처럼 자연스러운 팟캐스트가 만들어졌다고 한다. 그런데 사람들은 AI가 만들었다는 사실 자체를 불쾌하게 느꼈다. 이 거부감을 어떻게 줄일 수 있을지를 두고 팀은 무려 6개월 동안 내부 논의를 이어갔다고 한다.
이러한 거부감을 해소하기 위해 스포티파이는 AI가 아티스트의 창작물을 활용할 수 있는지에 대한 동의 절차를 마련하고, 수익 공유 모델을 도입했다.
2. 유즈케이스가 무엇이 있을까?
AI로 업무 효율성을 높여주는 툴을 만드는 UX 디자이너와 이야기를 나눴다. 그녀는 유즈케이스를 정의하는게 가장 어렵다고 했다. 기존 서비스는 UX 디자이너 혹은 PM이 정의한 유저 플로우에 따라 고객의 여정이 진행된다. 그러나 AI의 결과는 무엇이 나올지 모른다. 그리고 사람들이 어떻게 사용할 지를 다 생각할 수 없기 때문에 일관적인 경험을 디자인 하기가 어려워졌다고 한다. 타코벨은 알았을까. 드라이브 스루에서 AI 점원한테 물만 18,000 컵 주문할줄을....
3. 제약 조건을 생각해보자
PM의 관점에서는 risk management도 중요할 것 같다는 생각이 들었다. ChatGPT가 어린아이들과 부적절한 대화를 나눠서 논란이 된 적이 있다. 이러한 경우 심각한 소송에 휘말릴 수도 있으니 무엇이 잘못될 수 있을 지를 미리 생각하여 제약을 걸어둬야 하겠다. 메타처럼 말이다. 또한 유즈케이스가 무한하니 QA를 하기도 어려울 것이란 생각이 들었다.
4. 어떤 알고리즘을 써야할까?
구체적으로 어떤 알고리즘을 쓸 지는 당연히 엔지니어와 데이터 사이언티스트가 정할 것이다. 그러나 어떤 결과가 나오기를 바라는지에 따라 어떤 종류를 써야할 지 정도는 알아두면 좋을 것 같다.
1) 지도 학습 (supervised learning): 기존에 정한 기준에 따라서 결과를 분류할 때
2) 비지도 학습 (unsupervised learning): 주어진 데이터 패턴을 분석하여 결과를 분류할 때
3) 강화 학습 (reinforcement learning): 시행착오(trial and error)를 반복하여 학습할 때
스팸 메일을 분류할 때는 1) 지도학습 알고리즘을 사용하는 것이 적합하다. 이미 ‘스팸’과 ‘정상 메일’로 분류된 데이터를 학습시켜 새로운 메일을 판별하기 때문이다. 반면 마케팅 메시지를 보낼 때 어떤 고객을 타깃으로 할지를 정하는 데에는 2) 비지도학습 알고리즘이 사용된다. 고객의 구매 이력이나 행동 패턴을 분석해 유사한 그룹으로 묶는 방식이다. 자율주행 자동차는 3) 강화학습 알고리즘을 기반으로 동작한다. 도로 주행 중 수많은 시행착오를 반복하며, 보상과 패널티를 통해 스스로 최적의 주행 전략을 학습한다.
5. 서비스 업데이트 v10
예를 들어 ChatGPT 5를 기반으로 서비스를 설계했는데, ChatGPT 6에서 전혀 다른 기능이 추가되거나 응답 방식이 바뀌었다고 하자. 그렇다면 그 변화에 맞춰 우리의 서비스도 함께 업데이트되어야 한다. AI 모델은 끊임없이 발전하고 있으며, 그 속도는 점점 더 빨라지고 있다. 그만큼 서비스의 업데이트 주기도 짧아질 수밖에 없다. 변화에 유연하게 적응할 수 있는 구조를 설계하는 일이 더 큰 과제가 되지 않을까?
6. 데이터, 데이터, 데이터!
좋은 모델에 허접한 데이터를 사용하는것 보다, 허접한 모델에 좋은 데이터를 사용하는 게 더 결과가 좋다고 한다. 그러면 데이터를 어떻게 모을 것인가? 파이프라인 구축은 엔지니어나 데이터 사이언티스트가 하겠지만 어떤 데이터가 필요한지는 PM이 정의해야 한다. 유저의 행동 데이터를 볼 것인가? 서베이를 할 것인가? 쿠키 등 제 3자 데이터를 사용할 것인가? (이거는 점점 제약이 커지고 있다)
Human Behavior는 동영상으로 유저의 행동을 분석해 페인 포인트를 찾아준다. 기존의 로그 방식은 로그가 심어지지 않은 행동을 파악하기 어렵다는 한계가 있었지만, 영상 분석으로 그 제약이 해소되었다. 다만 시스템 부하가 크기 때문에 모든 유저 저니보다는 핵심 구간에 선택적으로 적용하는 것이 현실적일 것이다.
7. 그래도 여전히 사람이 필요해
AI의 환각 현상은 완전히 잡을 수 없다고 한다. 아이러니하게도, 환각을 줄이려 할수록 AI는 그것을 숨기려는 방향으로 학습된다고 한다. 환각이 없을 때 보상을 받도록 설계되어 있기 때문에, AI 입장에서는 우리를 속여야 하는 것이다! 그래서 아직은 업무 과정의 중간 단계마다 인간의 개입이 필요하다. AI가 생성한 결과를 사람이 검토하고 승인했을 때만 다음 단계로 넘어가는 식으로 설계해야한다.
개인적으로는 AI마다 뚜렷한 성격과 방향성이 있다는 점이 인상적이었다.
얼마 전 Google Gemini 활용법에 대한 강연에 참석했는데, 이번 버전은 기업 교육 기능에 초점을 맞추고 있었다. 흥미로운 건 AI 모델을 설계할 때부터 교육 이론을 기반으로 만들었다는 것이다. (그래서 답을 알려주지 않고 질문하며 스스로 깨닫게 하는 기능이 있다!) 구글의 목적이 ‘모든 사람이 정보를 쉽게 접할 수 있도록 하는 것’인 만큼 AI 역시 정보 접근성을 높이는 방향으로 발전하고 있었다. AI 경쟁에서 후발주자에 속하지만 B2B 영역에서의 포지셔닝을 영리하게 찾아가고 있다는 인상을 받았다. 반면 Microsoft는 워드 등 생산성 툴 을 기반으로 하고 있어 AI 역시 업무 효율화에 방점을 두고 있다.
AI를 효율적으로 잘 쓰는 PM이 되고싶다..!!
