송곳 같은 질문, 해머 같은 질문

그리고 송곳 같은 생각, 해머 같은 생각

질문은 다 같은 질문이 아니다

나는 개인적으로 질문의 질이 답의 질을 보장한다고 생각한다. 그렇기에 어떤 "질문" 이 좋은 질문인지에 대해서 많은 고민을 해본 적이 있다. 데이터 분석을 위한 다양한 질문들을 받고 답하면서 느낀 점은, 모든 질문들이 똑같은 정도의 지적 사고를 요구하지 않는다는 것이다.

어떤 질문은 너무나 명확해서 답을 구하기 쉽다. 반면, 어떤 질문은 너무 간단하지만 답을 찾는 과정과 결과의 해석에 굉장히 많이 생각과 고려가 들어간다. 이러한 경험들에 근거하면, 내가 생각 하기에는 질문들은 아래와 같은 두 가지 축을 가진다.

1. 답을 구하는데 필요한 지적 노동력

2. 답을 해석하는데 필요한 지적 노동력

그리고 이러한 두 개의 축을 기준으로, 질문들을 아래와 같이 구분할 수 있다

1. "지표" 같은 질문은 서비스의 핵심이다

목적에 따라, 단순한 데이터도 높은 사고가 필요할 때가 있고, 복잡한 데이터도 가벼운 해석으로 충분한 경우가 있다. "지표" 같은 질문의 경우에는, 질문자가 원하는 것은 복잡한 분석이나 생각이 아니다. 그냥 지금 우리 회사 혹은 서비스가 어떻게 흘러가고 있는지 주기적으로 체크할 수 있는 데이터를 보고자 하는 질문들이다.

예를 들어 "2017~2020년도 월간 상품 구매 수는 어떻게 되나요? " 같은 질문들이다. 그렇기 때문에 복잡한 분석이나 데이터 전처리가 필요하지 않고, 또 수고를 들여 더 정확한 데이터를 만들 수 있더라도 투입되는 노력 대비 별 효과가 없는 경우도 많다. 이러한 "지표" 질문들에 대한 답이 쌓이고 쌓이다 보면, 그게 바로 지금 서비스를 다양한 각도에서 모니터링할 수 있는 모니터링 대시보드가 만들어진다.

주의할 점은, 이러한 질문들에 대한 답 혹은 데이터는 해석하고 구하는데 별 다른 노력이 들지 않지만, 주기적으로 유지보수해주어야 하는 일들이 발생한다. 이러한 질문들은 어떻게 보면 간단하고 심심한 질문들이지만, 서비스를 이해하는데 핵심적인 역할을 한다

2. "송곳" 같은 질문은 기획의 핵심이다

"송곳" 같은 질문은 굉장히 답이 명확한 질문이다. 예를 들어, "서비스 변화가 일어난 2020년 4월 15일 ~ 20일 사이에 서비스 유저들이 패션상품을 얼마나 구매하였는가?" 같은 굉장히 세부적이고 무엇을 구해야 할지 쉽게 알 수 있는 질문들이다. 이러한 질문들은 많은 경우 데이터 전처리 및 기타 이슈들로 인해 수고가 많이 들어간다.

하지만 질문에 대한 답은 직관적이고 간단 하기에 답을 해석하는데 많은 수고가 들어가지 않는다. 이런 질문들에은 대한 답을 찾는데 들어가는 수고 대비, 결과 데이터가 한 번만 사용되고 버려지거나 일시적 서비스 테스트의 히스토리로 남기에 분서에서 사용한 코드를 재활용하기도 어렵다. 하지만 동시에 이런 질문들은 프로젝트 들의 성과를 측정하고 프로젝트의 향방을 결정하는데 많은 영향을 끼치게에, 특정 세부 기획에 있어서 필수적인 질문이라고 할 수 있다

3. "해머" 같은 질문은 서비스의 방향을 결정한다

"지표" 같은 질문을 위한 데이터와 똑같은 데이터를 쓰더라도 질문자의 목표가 무엇인지에 따라 그 데이터는 "해머" 같은 질문을 위한 데이터가 될 수 있다. 예를 들어 고객들의 리텐션(Retention Rate) 데이터가 있다고 해보자.

질문자는 그냥 요번 연도 전체에 걸쳐서 고객들의 리텐션이 어떻게 변하는지 보고 싶을 수도 있고, 리텐션을 통해 서비스의 전략이 옳은지 혹은 틀린 지 분석하고 싶을 수도 있다. 전자의 겨우 리텐션 트렌드를 보고 "우리 서비스는 성장하고 있구나" 혹은 "2월 3일에는 무슨 일이 있었길래 수치가 이렇게 낮지?" 정도로 생각하고 넘어간다. 후자의 경우 "우리 서비스의 리텐션은 동종 업게 대비 낮은가?", "우리 서비스의 리텐션 목표는 어느 정도여야 하고, 왜 리텐션을 주요 지표로 삼아야 하는가?" 등의 서비스 전체에 영향을 주고 또 임의의 결정이 필요한 생각들을 하게 된다.

그리고 후자의 목표를 가지고 서비스의 주요 수치들을 보고자 할 때, "해머" 같은 질문들이 만들어진다. 이런 해머 같은 질문들은 보통 팀장 혹은 임원진들이 자주 물어보고, 이러한 질문들에서 나온 깊은 생각의 결과는 많은 경우 전체적이 서비스의 방향을 설정하는데 매우 큰 영향을 준다. 그 예제로 OKR(Objectives and Key Results)이 있다.

이런 질문들을 받으면, 분석가가 복잡한 코드를 짤 필요는 없지만 간단한 수치를 구하는데도 굉장히 많은 고려와 생각을 해야 하는 일이 발생한다. 약간의 데이터 정확도 차이가(보통 코드 1~2줄로 나타내지는) 서비스에 막대한 피해 혹은 성장을 불러올 수 있기 때문이다

4. "알고리즘" 같은 문제는 쓸데없이 즐겁다 ㅋ (그리고 쓸데가 없다 ㅠ)

개인적인 경험에 근거하면, 사실 답을 구하는데 알고리즘 같은 복잡한 코드와 수학 알고리즘이 필요하고, 그리고 그렇게 나온 결과조차 해석을 하는데 깊은 생각과 지식이 필요한 질문은 서비스에 많은 영향을 주지 못하는 경우가 굉장히 많다.

예를 들어 "혜비 유저와 라이트 유저를 구분하고 싶어요!"라는 질문이 있다고 해보자. 그 둘을 구분하는 기준이 정책적으로 만들어져 있지 않기 때문에 비지도 학습을 사용했다고 또 해보자. 그러면 분석하는 사람 입장에서는 굉장히 즐겁다! 이런저런 알고리즘을 써보고, 또 그 와중에 배우는 것도 많다.

하지만 그렇게 나온 결과를 다른 사람에게 공유 하기는 굉장히 어렵다. 특히나 데이터를 다루는 사람들은 기초적 수학 지식이 없는 사람들에게 그러한 것들을 설명하기 굉장히 어려워한다. 그리고 그렇게 나온 결과를 잘 공유하더라고, 그 결과를 사용해야 하는 기획자 입장에서는 "내가 했던 질문에 대한 답 이기는 한데, 이거를 어떻게 써먹지? 어려우니까 일단 패스"라는 생각을 할 수 밖이 없게 된다. 설령 써먹더라도 단기적으로 조그마한 프로젝트에 써먹고 버리는 경우가 대다수이다.

그렇기에 "알고리즘" 같은 잘문은 아이러니하게도 분석하는 사람을 즐겁고 해석하는 사람에게는 쓸모가 없는 답을 찾는 질문이 되는 경우가 많다

결론적으로, 질문을 잘 구별하자!

결론적으로, 데이터를 분석해고, 읽고, 해석하는 사람은 내가 어떤 종류의 질문을 하는지 그리고 어떤 종류의 질문을 받았는지 잘 구분하는 것이 필요하다. 노력의 유무와 상관없이 어떤 질문을 하고 또 어떻게 질문을 해석하는지가 답의 질을 결정하기 때문이다.

여담으로 "나는 왜 사는가?"는 어떤 종류에 속하는 질문일까?