현장에서 ‘잘한다’는 평가를 받는 분석가는, 무엇이 다를까
데이터 분석 일을 하다 보면 자주 듣는 질문이 있습니다.
어떤 사람이 데이터 분석을 잘하는 사람인가요?
분석을 잘한다는 건 정확히 무슨 뜻인가요?
이 질문은 얼핏 단순해 보이지만, 실제로 매우 깊이 있는 고민을 담고 있습니다. 분석 도구를 잘 다루는게 중요한 걸까요? 정확한 수치를 내는 능력이 중요할까요? 아니면 분석 결과가 비즈니스 성과로 이어져야만 '잘한다'고 평가받을 수 있을까요?
오늘 이 글에서는 그 질문에 대해 제가 현장에서 느끼고, 고민해 온 내용을 바탕으로 정리해보려 합니다. 데이터 분석을 업으로 삼고 있는 분들, 또는 분석가와 협업하는 분들께도 작은 참고가 되기를 바랍니다.
무엇보다 먼저 생각해봐야 할 건, '잘한다'는 말이 누구의 시선에서 나오는 평가인가입니다. 같은 분석 결과라도 그걸 받아들이는 사람의 입장에 따라 해석은 완전히 달라질 수 있습니다.
예를 들어, 분석가 본인 입장에서 '잘한다'는 건 보통 아래와 같은 의미입니다.
✔️ SQL, Python, R, Excel 같은 도구에 익숙하다
✔️ 통계 지식이나 모델링 기법에 대한 이해도가 높다
✔️ 데이터 전처리와 시각화가 빠르고 정확하다
하지만 협업자나 현업 입장에서 중요한 건 조금 다릅니다. 그들은 복잡한 모델이나 수식보다 이 결과가 어떤 인사이트를 주는가, 어떤 행동을 유도할 수 있는가에 더 큰 관심을 가집니다.
경영진이나 리더의 시선에서는 더 단순하지만 명확합니다.
"이 분석이 실제 성과에 어떤 영향을 줬는가?"
"이 분석 덕분에 우리가 더 나은 결정을 내릴 수 있었는가?"
위 내용을 아래의 표처럼 조금 더 단순히 정리해볼 수 있습니다.
그렇다면 실제 분석가는 어떤 기준으로 성장하고 평가받을까요?
단순히 도구를 잘 다루는 것에서 그치지 않고, 문제를 정의하고 비즈니스에 영향을 주는 단계까지 나아가야 합니다. 아래는 일반적인 데이터 분석가의 성장 단계를 정리한 표입니다.
여기에서의 Lv1~Lv3 구분은 단순히 연차에 따른 분류가 아닙니다. 실무 경험이 오래된 분석가라도 만약 여전히 Lv1 또는 Lv2 수준의 역할에 머물러 있다면, 진정한 의미의 시니어 분석가라고 보기 어렵습니다. 중요한 건 연차가 아니라, 어떤 문제를 다루고, 어떤 영향력을 만들어내는가입니다.
데이터 시각화 및 분석 플랫폼 Mode Analytics의 공동 창업자 벤 스타실(Benn Stancil)은 다양한 글과 인터뷰에서 “좋은 분석가는 답을 찾기보다 더 나은 질문을 던지는 사람”이라고 강조합니다.
“A good analyst isn’t someone who gives the right answers — it’s someone who asks better questions.”
출처. 팟캐스트 The Right Track – Ep. #7: Data Translators with Benn Stancil
실제로 데이터를 다루다 보면, 처음 받는 질문보다 더 근본적인 문제를 발견하게 되는 경우가 많습니다. 그 문제를 잘 정의하고, 더 나은 방향으로 제안할 수 있다면, 그게 바로 '진짜 잘하는 분석'이라고 생각합니다.
데이터 분석을 잘한다는 건 단순히 수치를 해석하는 것을 넘어서, 문제를 해결하고 조직을 실제로 움직이게 만드는 힘을 갖는 것입니다. 그렇다면, 현장에서 인정받는 분석가들은 어떤 방식으로 ‘잘함’을 증명하고 있을까요?
아래 세 가지 분야의 사례를 통해 실무에서의 분석 역량이 어떻게 발휘되는지 살펴봅니다.
CRM 분석 : 클릭률보다 중요한 건 '고객 생애가치'
성과 있는 CRM 분석은 단순히 캠페인의 CTR(클릭률)이나 CVR(전환률)에 머무르지 않습니다. 고객의 장기적 가치(LTV)를 중심으로 캠페인을 설계하고, 실험 설계와 통계적 검증을 통해 전략을 정교하게 개선해 나가는 접근이 필요합니다. 단순 수치 나열에 그치는 분석은 비즈니스에 큰 영향을 주기 어렵습니다.'진짜 잘하는 CRM 분석가'는 단기 반응을 넘어 장기 성과로 이어지는 설계를 고민합니다.
(사례 요약)
이번 캠페인에서 타겟 그룹 A의 구매 전환율은 높았지만, 실제 전환 이후 발생한 LTV는 오히려 낮게 나타났습니다. 이는 현재의 캠페인이 단기적인 반응에는 긍정적인 영향을 주었지만, 장기적인 고객 가치에는 부정적인 영향을 준 것으로 해석할 수 있습니다.
이에 따라, 다음 캠페인에서는
1. LTV 관점에서 더 적합한 세그먼트를 재설계하고,
2. 동일 세그먼트 반복 타겟팅으로 인해 피로도 누적 가능성이 의심됩니다. 그 이유로 최근 2개월간 6회 이상 반복 타겟팅된 그룹에서 LTV 하락과 이탈률 증가가 확인되었습니다. 동일 세그먼트 반복 타겟팅이 LTV에 부정적 영향을 줄 수 있다는 가설 하에, 쿨다운 룰과 콘텐츠 다양화를 적용할 예정입니다.
프로덕트 분석 : '만들었으니 써주겠지'는 통하지 않는다
신규 기능의 효과를 평가할 때 단순한 클릭률(CTR)이나 노출 대비 반응률 같은 지표만으로 성과를 판단하는 것은 위험합니다. A/B 테스트 또는 페이크 도어 테스트와 같은 실험 설계를 통해, 유저 행동의 변화를 정량적으로 측정하고 인과적으로 검증하는 접근이 필요합니다.
(사례 요약)
신규 기능 도입 후 CTR(기능 클릭률)은 기존 대비 35% 증가했으나, 전환율(CVR)에는 통계적으로 유의미한 변화가 없었으며, 일부 유저 세그먼트에서는 1인당 구매 상품 수가 감소하는 패턴이 관찰되었습니다. 이는 해당 기능이 유저의 관심은 끌었지만, 실제 구매 행동으로 이어지지 않았거나, 오히려 구매 흐름에 혼선을 주었을 가능성을 시사합니다.
이에 따라, 다음 단계로 다음과 같은 실험 설계를 제안합니다
1. 페이크 도어 테스트 설계
기능을 실제로 제공하지 않고, 버튼/탭 클릭만 유도
유저가 기능을 클릭한 후 노출되는 ‘coming soon’ 화면에서 실제 관심도와 기대 행동을 측정
2. 세그먼트 기반 분석
기존에 기능 클릭률이 높았지만 구매가 낮았던 유저군에만 페이크 도어 실험군을 구성
클릭 이후 행동 (e.g. 상세 페이지 탐색, 이탈률 등)을 기준으로 전환 저해 요인 탐색
3. 정성 데이터 보완 분석
실험 참여 유저 중 일부에게 인앱 서베이 또는 CS 데이터 수집
기능에 대한 기대 vs 실제 행동 간 괴리 요인 수집 및 인사이트 확보
단순히 기능을 노출시키는 것만으로는 ‘사용’을 유도할 수 없습니다. “기능에 관심을 가진 유저가 왜 전환하지 않았는가?”라는 질문에 답하기 위해서는, 정량적 실험 설계와 정성적 분석을 병행해야 합니다.
비즈니스 분석 : '성과'는 수치가 아니라 해석에서 나온다
성과 측정에서 단순 전환율(CVR)만으로 채널의 가치를 판단하는 것은 전체 비즈니스 퍼포먼스를 왜곡할 수 있습니다. 실제 고객 행동은 단기 반응뿐 아니라 리텐션, 반복 구매, LTV 등으로 이어지는 여정을 가집니다. 따라서 고객 생애가치(LTV)와 채널 기여도 모델(Attribute Modeling)을 함께 고려해야 실제 전략적 가치를 놓치지 않을 수 있습니다.
(사례 요약)
최근 채널별 전환 성과 분석 결과, 검색 유입의 전환율은 전체 평균 대비 18% 낮았지만, 유입 후 유저의 90일 리텐션율은 1.5배 높았고, LTV는 평균 대비 32% 높게 나타났습니다. 이는 검색 유입 고객이 초반 진입 장벽은 높지만,
관심도 높은 유저가 유입되어 충성도 및 장기 수익성이 우수하다는 의미로 해석됩니다. 한편, 동일 시점의 퍼포먼스 광고(리타겟팅 중심) 유입 고객은 전환율은 높았지만 LTV가 낮고, 이탈률이 빠른 경향이 확인되었습니다.
이에 따라, 마케팅 예산의 효율적 배분을 위해
1. 검색 유입 최적화를 위한 콘텐츠 강화 (예: SEO 및 브랜드 키워드 전략)
2. 고가치 유저 유입 유도형 캠페인 기획을 우선 과제로 설정하고, 퍼포먼스 광고 일부 예산을 검색 채널 강화에 재분배할 것을 제안합니다.
한 줄로 요약하면, 데이터 분석을 잘한다는 것은 단지 수치를 '정확히' 보는 능력이 아니라,
문제를 정의하고, 행동을 설계하며, 그것을 성과로 연결시키는 힘입니다.
분석 기술은 물론 필수입니다. 하지만 그것만으로는 충분하지 않습니다. '진짜 잘하는 분석가'는 데이터를 조직이 이해할 수 있는 언어로 번역하고, 결국 실질적인 움직임과 변화를 만들어냅니다.
지금 우리는 분명히 '데이터 중심의 시대'에 살고 있습니다. 이런 시대에서 데이터 분석가가 가져야 할 가장 본질적인 역량은, '데이터를 통해 문제를 해결하는 사람'으로 성장하는 것입니다.
✔️ 당신은 지금 어떤 문제를 풀고 있나요?
✔️ 그 문제는 조직에 어떤 행동을 유도하고 있나요?
✔️ 그리고, 그 행동은 어떤 성과로 이어지고 있나요?
성장을 위해 꼭 필요한 건, ‘지금 나는 잘하고 있는가?’라는 작은 질문을 멈추지 않는 것입니다. 끊임없는 질문과 생각 속에서, 우리는 조금씩 '진짜 잘하는 분석가'가 되어갈 수 있습니다.