chatGPT는 PM/PO를 어떻게 도울 수 있을까?
시니어 PM을 뽑는 인터뷰 질문으로 테스트 해 보았습니다.
온 세상이 chatGPT로 몸살을 앓고 있습니다. 차세대 기술의 메시아가 온 듯한 놀라움을 넘어선 경탄이 쏟아져 나오는 동시에 아직은 인수분해도 제대로 못하는 실수 투성이라는 냉소적인 반응도 있습니다.
저는 프로덕트/프로그램 매니저라는 직무를 벌써 17년째 하고 있습니다. 이 직무를 하기 전에는 그만큼의 기간을 개발자로 살았으니까 30년이 넘는 꽤나 긴 세월을 0과 1의 바이너리 세계에서 살았습니다. 그 세월은 저에게 새로운 기술이 나올 때마다, 그것의 성공은 기술 자체의 탁월함 보다는 그것이 사회에 만드는 영향력에 달려 있다는 생각과 경험을 하게 되었습니다.
그런 의미에서 최근 며칠 간 저는 요즘 가장 핫한 chatGPT를 사용해 보면서, 이 놀라운 기술이 프로덕트 매니지먼트 그 자체와 그 일을 하는 프로덕트 매니저/프로덕트 오너를 어떻게 도울 수 있을까에 대해서 생각해 보았습니다. 이것은 그 기술에 대한 평가가 아니라, 시간이 지남에 따라 더욱 강력해질 그 능력을 잘 활용하여 프로덕트의 비용, 품질, 성능에 효과를 가져올 수 있는 방법은 무엇일까를 찾아보려는 실험이었습니다.
결론부터 이야기 하자면, "ChatGPT는 전략, 로드맵 및 제품 시장 적합성을 찾는 프로덕트매니저/오너들을 돕기 위해 업무를 지원하는 실용적인 도구로 충분히 사용될 수 있다" 입니다.
ChatGPT는 본질적으로 복잡하고 구체적인 질문의 의도를 이해하고 잠재적으로 인간 수준의 응답을 생성하는 대화형 SaaS AI 챗봇입니다. 질문을 입력하면 이전 질문의 콘텍스트를 기억하여 답변으로 응답합니다.
프로덕트 매니지먼트에 AI를 적용할 수 있는 잠재적 응용 프로그램이 많이 있지만 아직은 기술과 탄탄한 비즈니스모델을 가진 서비스를 경험하지는 못했습니다. 하지만, 그 전 단계에서도 프로덕트 매니저들의 일을 도와줄 수 있는 부분이 있지 않을까 생각해 보고 쉬운 질문부터 해 보았습니다.
제 목표는 '프로덕트 매니지먼트 2-3년 정도의 경력과 지식을 가진 PM/PO를 뽑는다'라는 원칙을 갖고 질문을 해 보았습니다. 질문 순서는 1.원론, 2.사용 예, 3.사용 도구를 물어보는 순서로 해 보았습니다. 또한 좀 더 높은 수준의 대답을 얻기 위해 질문과 대답은 영어를 사용하였습니다.
1. 프로덕트 매니지먼트는 무엇인가?
프로덕트 매니저가 가장 많은 듣는 기초적인 질문으로 시작해 보았습니다.
프로덕트 매니지먼트는 무엇인가요?
프로덕트 매니지먼트는 무엇인가요?프로덕트 매니지먼트의 정의에 대해서는 매우 깔끔한 대답입니다.
사실 이 질문은 제대로 학습을 했다면 어렵지 않게 정답에 근접한 대답을 할 수 있기에 크게 놀랍지는 않습니다. 하지만, 설명하기 위해 사용하는 문장은 매우 자연스러우며 위키페디아와 비교해서도 훨씬 명확하게 설명합니다. (사실 위키페디아에서 이야기하고 있는 프로덕트매니저는 소프트웨어 산업뿐만 아닌 모든 산업분야의 프로덕트 매니저를 일반적으로 설명하기에 틀린 설명은 아닙니다.)
위키페디아가 설명하는 프로덕트 매니지먼트2.1 프로덕트 매니지먼트 전략은 무엇인가?
조금 더 구체적인 질문으로 들어가 보았습니다. 그 프로덕트 매니지먼트 전략이란 무엇이고 어떻게 구성되어야 하는지 말이죠. 아직까지는 교과서적 질문의 수준이긴 하지만, 프로덕트 매니저로서 처음부터 끝까지 end-to-end 과정을 거쳐보지 않았다면 잘 모를 수 있는 질문입니다.
프로덕트 매니지먼트 전략은 무엇인가?
프로덕트 매니니먼트의 전략은 무엇인가요?재미있는 현상입니다. 위의 질문은 단순히 전략이란 무엇인지에 대한 정의를 물었는데, 그것에 들어가는 정의와 함께 핵심요소를 포괄하는 답을 줍니다.
2.2 프로덕트 매니지먼트 전략은 어떻게 구성되야 하는가?
이제 제가 위의 질문을 살짝 바꾸어 그 핵심 요소를 포괄하는 질문을 명시적으로 하게 되면, 위의 질문과 대비되는 훨씬 정확한 대답을 줍니다. 꽤 놀라운 수준의 답입니다. 밑에 답을 보면 위에는 없었던 '가치제안'과 '지표설정'에 관한 가장 중요한 두가지를 추가 설명해 줍니다.
프로덕트 매니지먼트 전략은 어떻게 구성되어야 하는가?
프로덕트 매니지먼트 전략은 어떻게 구성되야 하는가?즉 이 사실은 나의 질문이 구체적이고 명시적일 수록 더욱 상세하고 정확한 답을 얻을 수 있다라는 것을 보여줍니다. 사실 위의 답에 마켓 사이징이라던지, 가격 전략같은 이야기도 있으면 좋겠지만 뭐 사실 저 정도의 답을 주는 PM도 사실 그리 많지 않을것이란 생각입니다.
3. 프로덕트 매니지먼트 전략에 대한 예를 들어주세요.
이제 경험있는 PM이 아니면 대답하기 어려운 질문으로 들어가 봅니다. 교과서를 벗어서 실제 세계에서 경험적으로 적용가능한 답을 줄 수 있는지에 대한 예를 원하는 질문이었습니다.
"나는 자동차 산업의 구매 조달(procurement) 프로덕트를 만들려고 합니다. 프로덕트 매니지먼트 전략에 대한 예를 들어주세요."
프로덕트 매니지먼트 전략에 대한 예를 들어주세요.ChatGPT의 장점이 나타납니다. 대화의 콘텍스트를 이어갈 수 있다는 점이죠. 위의 질문한 '어떻게 구성되는가?'에 대한 답을 기반으로 그 예를 작성해서 답해 줍니다. 개인적으로 꽤나 놀랐던 수준의 답입니다.
사실 대답은 간단해 보일지 모르지만, 저 정도의 대답은 B2B 경력을 가진 PM이 아니라면 절대로 저 수준의 세분화된 대답을 하긴 쉽지 않습니다.
또한 마지막 절에, 이건 하이레벨이고, 핵심 요소들에 대한 아이디어를 주기 위함이라고 하는 친절한 설명은 매우 훌륭한 설명 접근법이라고 생각합니다. 브라보!
4. 어려운 상황에서 어떻게 전략 계획을 시작할 수 있습니까?
점차 까다로운 질문을 던집니다. 프로덕트 매니저가 마주하게 되는 어려운 상황에 대해 어떻게 답을 주는 지 테스트해봐야 겠습니다. 바로 도전(challenges)과 제약사항( constraints)에 대해 물어 보았습니다.
"나에겐 충분한 예산이 없습니다. 이런 상황에서 어떻게 전략 계획을 시작할 수 있습니까?"
어려운 상황에서 어떻게 전략 계획을 시작할 수 있습니까?예산이 없고 리소스가 부족해서 못합니다 라는 말을 무색하게 명쾌한 대답을 해 줍니다.
물론 이것이 정말 돈이 안드는 것이냐 라고 한다면 그건 아니지만, 한계상황에서 충분히 이용해 볼만한 좋은 내용입니다. 1번부터 매우 중요한 것인데요. '사용자를 이해하라'라고 하면 많은 PM들이 목표 사용자나 그 그룹을 찾아내어 설문조사나 인터뷰 진행을 하는 것으로 압니다. 하지만 이 방법은 비용이 엄청나게 많이 들어가는 일이죠.
제가 질문에서 했던 제약사항이 바로 '충분한 예산이 없다'입니다. PM 세계에선 2차조사를 먼저하고 1차 조사에 들어가라라는 원칙이 있는데 지금 ChatGPT가 이야기 하고 있는 것이 2차 조사입니다. 인터넷을 검색해서 유사한 리포트나 논문을 찾아보고 시장을 먼저 이해하라는것이죠. 비용이 최소화 되는 방법에 맞는 답을 하고 있는 것입니다. 밑에 제가 밑 줄을 해 놓은 모든 부분이 제가 질문한 내용의 컨텍스트에 맞는 답을 하고 있는것입니다.
그리고 맨 마지막에 밑줄 쫙 친 정말 중요한 말- 프로덕트 매니지먼트 전략은 한번에 끝나는것이 아니라 사용자와 시장에 대해 배워가면서, 탄력적으로 진화해 나가는 것이다라는 말이죠.
5. 사용자 조사에 어떤 유형의 특정 도구를 사용할 수 있습니까?
자 이론과 실제 적용 방법을 아는지 확인했으니 실제 구현해 봤는지 어떤 툴을 쓰는지 테스트해 봐야겠습니다. 그래서 이런 질문을 던졌습니다.
프로덕트 매니지먼트 관점에서 사용자 조사에 어떤 유형의 특정 도구를 사용할 수 있습니까?
사실 이 질문은 일부러 제가 함정을 넣은 질문입니다. 정확히 이야기 하자면 함정을 넣었다기 보다는 두가지 질문을 한번에 하고 있는 것입니다. 첫번째 질문은 사용자 조사에는 몇가지 유형이 있나요? 그리고 두번쨰는 그 각각의 유형에 해당하는 도구를 말씀해 주세요 라는 두가지의 대답을 따로 원하는 복합 질문입니다. 대답은 수준급입니다.
사용자 조사에 어떤 유형의 특정 도구를 사용할 수 있습니까?문제의 뜻을 정확히 파악하고, 사용자 조사, 인터뷰, 포커스 그룹, 어널리틱스, 소셜 리스닝까지 모두 정확히 이야기합니다.
못된 시어머니처럼 굳이 한가지 꼭 꼬집어서 이것이 모자랐다라고 할 수 있는것은 위의 예는 모두 B2C일때 맞는 것들이라는 것입니다. 왜냐하면 바로 전 질문이 자동차업계의 구매조달 앱을 이야기 했기에 이 질문이 B2B에 해당하는 질문이었다면 온사이트 방문이나 미리 통보된 앙케이트조사와 같은 B2B 특징이 있어야 할 것입니다. 뭐 하지만, 저 정도 답이 나오는 것만으로도 PM으로서 충분한 경험이 있다고 생각할 수 있습니다.
6. chatGPT가 어떻게 제품 관리자를 도울 수 있나요?
마지막 질문은 그냥 단도직입적으로 물어봤습니다. 그래서 PM으로서의 나를 어떻게 도와줄 수 있느냐?입니다. 인터뷰 후보자였다면, 입사 후에 어떻게 팀에 기여할 수 있느냐? 라는 질문입니다.
chatGPT가 어떻게 제품 관리자를 도울 수 있나요?
chatGPT가 어떻게 제품 관리자를 도울 수 있나요?how can chatGPT help product managers?
답에서 제시한 여덟가지 모두 좋은 대답입니다.
그러나 내 프로덕트 용으로 쓰려면 현재의 ChatGPT는 집중 훈련이 필요 합니다. 내 프로덕트를 둘러 싼 콘텍스트가 필요합니다. 내 프로덕트가 사용하는 용어, 키워드, 프로세스, 특별루틴 등등이 모두 학습되어야 합니다. 즉 내 프로덕트의 기능과 속성과 사용자를 파악해야 가능하죠.
그런데 답의 2번에 있는 '콘텐츠 생성'은 지금의 ChatGPT수준에서도 충분히 훌륭하게 만들어 낼 수 있습니다. 특히나 한글이 영어나 다른 외국어 컨텐츠로 번역되어 딜리버리 되어야 하는 곳에서는 크게 도움을 받을 수 있습니다.
아래 그림과 같이 국민 메신저인 카카오톡의 v9.5 릴리스 노트에서 나타난 것과 같이 화살표라는 단어가 Arrows 가 아닌 Errors로 번역되고, 글자를 입력한다는 text의 의미가 words로 번역되는 정말 어처구니 없는 실수는 지금의 ChatGPT라면 미연에 방지할 수 있겠지요.
카카오톡 v9.5 릴리스 노트의 영어 번역 실수그 다음으로 빠르게 혜택을 볼 수 있는 부분은 챗봇을 이용한 고객지원 Q&A서비스는 지금의 수준보다 훨씬 더 자연스럽고, 유연하게 대처가 가능할 것이라고 전망합니다.
마무리
20년 검색 천하를 구가했던 구글이 코드레드를 보냈다는 의미만으로도 ChatGPT는 세상을 바꿀 파괴적 혁신 기술로 보입니다.항상 프로세스를 개선하고 팀을 보다 효율적으로 만드는 방법을 찾는 PM/PO로서는 ChatGPT의 어깨에 올라타는 것으로도 획기적인 솔루션을 찾을 수 있을 겁니다.
예를 들어 ChatGPT를 사용하여 제품 설명을 생성하고, 고객 지원 응답을 생성하고, 보고서 및 프레젠테이션을 멋지게 생성할 수도 있습니다. 일상적인 작업을 자동화함으로써 PM/PO는 더 많은 시간을 확보하여 제품 성공을 주도하는 데 필수적인 창의적이고 전략적인 작업에 집중할 수도 있겠죠. 또 다른 이점은 과거 대화와 상호 작용을 이해하고 학습할 수 있다는 것입니다. 이는 고유한 요구 사항과 선호도를 기반으로 개인화된 응답 및 권장 사항을 제공할 수 있음을 의미합니다. 이를 통해 제품 관리자는 보다 정보에 입각한 결정을 내리고 보다 효과적인 조치를 취할 수 있습니다.
이미 오늘의 우리는 예전에는 경험해 보지 않은 발전된 디지털 세상에서 살고 있습니다. 이런 놀라운 기술들은 계속 더 빠른 주기로 등장할 것입니다. 새로운 기술 혁신에 대해서 냉소적인 태도를 갖기보다는 그 안에서 무엇을 통해 우리 업무와 생활에서 이점을 누릴 수 있는 것인지를 찾아 보는게 더 현명한 자세가 아닐까 생각해 봅니다. 오늘도 열심히 노력한 모든분들을 응원합니다.
