페르소나, 매트릭스, 회귀분석, A/B 테스트
AI의 도움을 받아 기획의 스킬이 풍성해진 것 같다고 느끼는 요즘이다.
기획자가 아닌 분들도 AI의 도움을 받아 여러 가지 방법론을 붙여서 PPT 작업을 뚝딱 해내는 요즘, 그럴 듯 하지만 깊이와 알맹이의 질이 떨어지는 장표를 보다 보니 기획을 제대로 하는 흐름을 정리해야겠다고 느꼈다.
좋은 기획자는 감으로만 일하지 않는다.
그렇다고 숫자만 믿고 일하지도 않는다.
요즘 AI를 기획에 자주 활용하면서 AI로 페르소나를 만들고, 매트릭스로 우선순위를 나누고, 회귀분석으로 영향을 보고, A/B 테스트로 검증한다는 말을 자주 듣게 된다. 실제로 이 흐름은 기획자에게 꽤 강력하다. 다만 이름이 그럴듯해서 만능처럼 들릴 뿐, 각각의 도구가 답을 주는 방식은 전부 다르다. 무엇을 위해 쓰는지 구분하지 못하면 오히려 더 그럴듯하게 틀리기 쉽다.
내가 이번에 다시 정리하며 가장 먼저 잡은 기준은 이것이었다.
페르소나는 “누구를 이해하기 위한 도구”이고,
매트릭스는 “무엇을 먼저 할지 정하기 위한 도구”이며,
회귀분석은 “무엇이 결과에 영향을 주는지 보기 위한 도구”이고,
A/B 테스트는 “정말 이 변화가 효과가 있었는지 검증하는 도구”다.
이름은 어려워 보여도, 결국 기획 실무에서는 이 네 가지가 서로 다른 질문에 답하는 역할을 맡는다.
NN/g(UX 사용자 경험 분야에서 가장 영향력 있는 리서치, 컨설팅 회사 중 하나다)는 페르소나를 “전형적이거나 목표가 되는 사용자를 현실감 있게 묘사한 가상의 설명”이라고 정의한다. 핵심은 가상이라는 단어보다 현실감 있게라는 부분에 있다. 잘 만든 페르소나는 상상력이 아니라 조사 결과를 압축한 결과물이어야 한다. 사용자 인터뷰나 관찰, 로그, 설문 같은 근거 없이 “아마 이런 사람일 것”이라고 만든 페르소나는 예쁜 문서일 수는 있어도 실무 도구는 아니다.
그래서 AI로 페르소나를 만든다고 할 때도 오해하면 안 된다.
AI는 인터뷰 요약을 돕고, 반복 패턴을 정리하고, 초안 형태로 여러 페르소나 후보를 빠르게 만드는 데는 유용하다. 하지만 페르소나의 진짜 재료는 여전히 사용자 연구다. NN/g도 페르소나는 보통 정성적 기반 위에서 만들고, 필요하면 통계 데이터를 더해 정교하게 만들 수 있다고 설명한다. 즉 AI는 정리와 확장의 속도를 높여주지만, 근거 없는 페르소나를 진짜처럼 보이게 만드는 위험도 함께 갖고 있다.
“정답 매트릭스”는 현업에서 흔히 말하는 우선순위 매트릭스, 혹은 의사결정 매트릭스에 가깝다. 이것은 어떤 과제가 절대적으로 정답인지 알려주는 도구가 아니라, 여러 기준을 놓고 비교 가능하게 만드는 틀이다. NN/g는 우선순위 매트릭스가 가장 중요한 문제를 식별하고, 구조적이고 비교 가능한 방식으로 합의를 돕는다고 설명한다. Atlassian 역시 우선순위 프레임워크는 기회들 사이에서 더 나은 의사결정을 하도록 돕는 구조라고 본다. 결국 매트릭스는 ‘정답 생성기’가 아니라 ‘논쟁을 정리하는 판’에 가깝다.
실무에서는 이 부분이 특히 중요했다.
회의실에서 자주 벌어지는 일은 “이 기능도 중요하고 저 기능도 중요하다”는 식의 평행선이다. 이때 매트릭스가 있으면 최소한 같은 축 위에서 이야기할 수 있다. 예를 들어 사용자 영향도와 구현 난이도, 혹은 매출 기여 가능성과 운영 리스크 같은 축을 두고 사안을 올려놓으면, 감정 섞인 주장보다 비교 가능한 대화가 가능해진다. 매트릭스의 장점은 완벽한 계산이 아니라, 판단 기준을 공개적으로 드러내는 데 있다.
IBM은 선형 회귀를 어떤 변수의 값을 다른 변수의 값을 바탕으로 예측하는 분석이라고 설명한다. 여기서 중요한 것은 “무엇이 결과와 관련 있는가”를 수치로 살펴본다는 점이다. 기획자 관점으로 바꾸면, 구매전환율이 왜 달라지는지, 이탈률에 어떤 요소가 더 크게 관련되는지, 재방문에 영향을 주는 신호가 무엇인지 같은 질문을 다룰 때 회귀분석이 쓰일 수 있다.
다만 회귀분석을 실무에서 만능처럼 받아들이면 곤란하다.
회귀분석은 관계를 보는 데 강하지만, 그것만으로 인과를 확정해주지는 않는다. 어떤 요소가 결과와 함께 움직인다는 사실을 보여줄 수는 있어도, 그 요소가 결과를 직접 만들었다고 단정하기는 어렵다. 그래서 회귀분석은 “의심되는 영향 요인 찾기”에 강하고, A/B 테스트는 “정말 그 변화 때문이었는지 보기”에 더 적합하다. 이 둘은 경쟁 관계가 아니라 앞뒤로 이어지는 관계에 가깝다.
A/B 테스트는 그중에서도 가장 “정답에 가깝게 보이는” 도구다.
GrowthBook의 A/B 테스트 가이드는 통계적 유의성, 표본 크기 같은 개념을 이해하는 것이 중요하다고 설명한다. Analytics-Toolkit은 A/B 테스트를 의도한 변화와 관찰된 결과 사이의 인과 관계를 확인하는 과학적인 방법이라고 설명한다. 즉 A/B 테스트는 “이 버튼 문구가 더 좋아 보인다”가 아니라, “실제로 더 높은 전환을 만들었는가”를 보려는 절차다. 그래서 기획자에게 A/B 테스트는 아이디어 싸움의 종결자가 아니라, 가설을 검증하는 마지막 단계라고 보는 편이 맞다.
여기서 실무적으로 정말 많이 생기는 오해가 있다.
A/B 테스트는 트래픽이 적은데도 성급히 돌리면 안 되고, 중간 수치를 보고 빨리 결론 내려도 안 된다. 측정 지표를 미리 정하지 않고 시작해도 안 된다. Amplitude는 데이터 기반 의사결정을 위해서는 사전에 측정 계획과 충분한 표본, 통계 이해가 필요하다고 설명한다. 결국 실험은 버튼 두 개를 나눠 보여주는 행위가 아니라, 무엇을 성공으로 볼지 먼저 정의하는 설계 작업이다.
기획 실무 흐름이 꽤 또렷해진다.
누가 문제를 겪는지 페르소나로 정리하고, 무엇부터 손댈지 매트릭스로 우선순위를 잡고, 어떤 요인이 결과와 관련 있는지 회귀분석으로 살피고, 실제 변화가 효과가 있었는지는 A/B 테스트로 검증하는 식이다. 이때 AI는 각 단계에서 시간을 크게 줄여준다. 인터뷰 요약, 패턴 분류, 가설 정리, 매트릭스 초안 작성, 실험 안 비교, 결과 요약까지 도와줄 수 있다. 하지만 근거를 대신 만들어주지는 못한다. 기획자가 직접 해야 하는 일은 여전히 같다. 질문을 정확히 세우고, 데이터의 한계를 알고, 검증 순서를 설계하는 일이다.
개인적으로는 이 지점이 가장 인상적이었다.
AI 때문에 기획이 쉬워진 것이 아니라, 애매하게 하던 일이 더 들키기 쉬워졌다고 느꼈다. 예전에는 “사용자가 이럴 것 같다”는 말이 그냥 넘어갔다면, 이제는 정말 페르소나 근거가 있는지 묻게 된다. “이 기능이 중요하다”는 말도 매트릭스에 올려보면 기준이 허술한지 드러난다. “이 요소가 성과를 만들었다”는 말도 회귀분석과 실험을 거치면 얼마나 섣부른 주장인지 보이기 시작한다. AI는 기획자의 감을 대체하기보다, 감을 검증 가능한 형태로 바꾸라고 압박하는 도구에 더 가깝다.
그래서 나는 기획자가 이 흐름을 배워야 한다고 생각한다.
통계학자가 되라는 뜻은 아니다. 다만 적어도 이 정도는 구분할 수 있어야 한다.
페르소나는 사람을 이해하는 도구,
매트릭스는 선택을 정리하는 도구,
회귀분석은 영향 가능성을 보는 도구,
A/B 테스트는 인과를 검증하는 도구다.
이 순서를 이해하면, AI는 단순한 작성 도구를 넘어 기획자의 사고를 보조하는 실무 도구가 된다. 반대로 이 구분 없이 쓰면, 그럴듯한 보고서만 빨리 만들게 된다.