PO
구루님, 이번에 저희 서비스에 검색 기능을 붙였어요. 기능은 잘 동작하는데, 결과가 좀 애매해요.
구루
애매하다는 건 무슨 뜻이지?
PO
사용자 인터뷰에서는 몇 분이 검색이 불편하다고 말씀하셨어요.
그런데 지표를 보면 검색 후 이탈률은 낮고, 오히려 전환율은 약간 올라갔거든요.
누구 말을 들어야 할지 모르겠어요.
구루
좋은 질문이야.
이건 정성 데이터와 정량 데이터가 서로 다른 이야기를 할 때 흔히 생기는 상황이지.
PO
그럴 땐 어떤 걸 믿어야 하죠?
저는 숫자가 더 명확하게 느껴져요.
인터뷰는 아무래도 소수의 의견이라서 신뢰가 좀...
구루
그럼 이렇게 물어보자.
너는 지금 이 기능에 대해 정확히 어떤 걸 알고 싶은 거지?
PO
음… 이 기능이 ‘잘 작동하고 있는가’요.
사용자들이 검색 기능을 ‘편하게 쓰고 있는지’가 궁금한 거죠.
구루
좋아. 그럼 질문의 성격에 따라 데이터를 구분해보자.
‘얼마나 많은 사용자가 그 행동을 했는가’라는 질문엔 정량 데이터가 필요하고,
‘왜 그렇게 행동했는가’라는 질문엔 정성 데이터가 필요해.
PO
정량은 행동의 결과, 정성은 그 행동의 이유를 보여주는 거네요.
구루
맞아. 정량은 “숫자”로 말하지만, 그 숫자 뒤에 숨어 있는 맥락을 보여주는 건 정성이야.
그래서 둘은 서로의 빈자리를 메워주는 관계지.
PO
그런데 요즘 팀에서는 숫자 중심으로만 말하자는 분위기가 강해요.
명확하고, 설득력도 있고요.
구루
그럴 수 있지.
다만 정량 데이터는 위치는 알려줘도 방향은 알려주지 않아.
전환율이 낮다는 사실은 알려주지만, 왜 낮은지는 설명하지 못해.
그래서 방향을 잡으려면 결국 정성이 필요해.
PO
말하자면 정량은 신호고, 정성은 그 신호를 해석하는 도구라는 거네요.
구루
좋은 비유야.
문제는 정량 데이터만 들여다보다 보면,
예를 들어 전환율이 떨어지면 색깔을 바꾸자든지 버튼 크기를 키우자든지 하는 피상적인 대응으로 끝나버릴 수 있어. 근본적인 원인을 파악하지 못한 채 말이지.
PO
그럼 반대로 정성 데이터만 보면 생기는 문제도 있겠네요?
구루
물론이지.
가장 큰 위험은 소수 의견에 과도하게 끌리는 거야.
특히 경험이 적은 PO일수록 그런 함정에 빠지기 쉬워.
PO
아, 저도 그런 적 있어요.
인터뷰에서 한 사용자가 "이 기능 진짜 불편했어요"라고 해서
바로 개선 요청을 넣었는데, 알고 보니 대부분의 사용자는 문제없이 쓰고 있었더라고요.
구루
정성이 깊은 만큼, 과잉 일반화에 주의해야 해.
그래서 정성 데이터는 ‘왜’의 단서를 주지만,
그게 널리 적용될 수 있는지는 정량 데이터로 검증해야 해.
이 두 가지는 대립하는 게 아니라, 서로를 교차 검증해주는 관계야.
PO
정성 중심으로 시작했다가, 정량으로 범위를 확장하고,
다시 정성으로 깊이 파고드는 식의 흐름이네요.
구루
좋아. 바로 그 흐름이 이상적이야.
문제는, 이 균형을 언제 어떻게 잡아야 하느냐지.
PO
그게 어렵더라고요.
어떤 때는 정량만 봐도 충분할 것 같고,
어떤 때는 숫자만 봐서는 도무지 감이 안 와요.
구루
그래서 상황별로 정리해두는 게 도움이 돼.
예를 들어, 새로운 기능을 기획할 때는 사용자의 니즈를 파악해야 하니까 정성 데이터가 중요하고,
기능을 출시한 뒤엔 실제 사용 현황을 파악하기 위해 정량 데이터가 중심이 돼.
그리고 뭔가 문제가 있어 보일 땐, 정량으로 이상 징후를 발견하고,
정성으로 그 원인을 추적하는 구조가 자연스럽지.
PO
그러면 데이터 분석은 한 번으로 끝나는 게 아니라 계속 순환하는 거네요.
구루
그래. 특히 PO는 데이터를 소비하는 사람이 아니라,
데이터를 해석해서 전략을 만드는 사람이야.
그래서 단순히 수치를 보고 “이건 좋아, 저건 나빠” 판단하는 수준에서 벗어나야 해.
PO
예를 들어 인터뷰에서 “검색이 어렵다”는 피드백이 반복되면,
그걸 설문조사로 넓히고, 정량적으로도 문제가 보이면 A/B 테스트로 개선안을 실험해보고... 이런 흐름이죠?
구루
딱 그거야. 이건 결국 데이터를 연결해 스토리를 만들어내는 일이야.
숫자도, 말도, 행동도 각각 흩어져 있으면 그냥 정보일 뿐이지만, 그것들을 연결할 수 있으면 방향이 생기고 결정이 가능해져.
PO
이런 질문도 드려도 될까요? 만약 정량과 정성이 서로 정반대 얘기를 할 땐 어떻게 해야 하죠?
구루
그럴 땐 PO로서 두 가지를 먼저 점검해봐야 해.
첫째, 이 데이터는 ‘지금 이 순간’을 말하는가, 아니면 ‘지속적인 추세’를 말하는가?
둘째, 이 데이터가 신뢰할 만한 샘플과 맥락을 갖추고 있는가?
이 둘이 불확실하다면, 가설을 다시 세우고 더 실험해봐야 해.
PO는 확신하는 사람이 아니라, 검증을 반복하는 사람이니까.
PO
말씀 듣고 보니, 데이터는 판단의 끝이 아니라 시작점 같아요.
구루
맞아. PO는 숫자에만 휘둘려서도, 말에만 끌려서도 안 돼. 정량은 넓게 보고, 정성은 깊게 보되, 결국 “무엇을 알고 싶은가”라는 질문으로 돌아가야 해. 그게 균형을 잡는 첫 걸음이지.
PO
감사합니다, 구루님.
이제 숫자가 부족한 것도, 말이 너무 많은 것도 덜 두려워질 것 같아요.
구루
좋아. 항상 기억해.
“숫자는 현상을 말하고, 사용자의 말은 그 이유를 말한다.”
그 둘 사이의 간극을 읽을 수 있는 사람이, 좋은 PO가 된다.