소수의 법칙: 표본
한 명의 목소리가 진실이 아닐 수 있는 이유
미국 빌&멀린다 게이츠 재단의 ‘작은 학교 개혁 운동’이 좋은 사례다. 규모가 작은 학교가 평균적으로 규모가 큰 학교보다 학업 성과가 더 좋다는 통계 분석에 따라 시작된 거대 프로젝트로, 학교를 작게 쪼개는 작업에 엄청난 자원을 투입했다. 그러나 미국 스탠퍼드대 경제학자 에릭 하누셰크는 ‘학급·학교 규모가 작은 것이 학생의 학업 성과 향상에 기여하는 바가 크지 않다’는 연구 결과를 발표했다. 계속된 연구에서도 작은 학교가 좋은 성과를 낸다는 결과는 나타나지 않았고, 1조 원 이상이 투입된 이 프로젝트는 처참한 실패로 끝났다. ‘작은 학교의 학업 성취도가 높다’고 확신하려면, 큰 학교 중에는 학업 성취도가 높은 곳이 없어야 하고, 작은 학교 중에는 학업 성취도가 낮은 곳이 없어야 한다. 그러나 학업 성취도가 낮은 학교에 작은 학교도 상당수 포함됐다. 소수 표본이 극단적인 쏠림 현상을 발생시킨 것이다.
통계의 함정에 빠뜨리는 인지 착각 중 ‘소수 법칙’이 있다. 소수 법칙은 작은 표본이 큰 표본보다 더 자주 극단적인 결과를 보이는 현상을 말한다.
“추천이 내 취향과 다르게 느껴져요.”
AX(AI Transfomation) 프로젝트로 메뉴 추천 고도화 개발 중이다. 1차 개발이 완료되어 이를 검증하기 위해 진행한 베타테스트에서 한 고객이 남긴 피드백이었다. 강한 울림이 있었다. ‘내가 놓치고 있던 인사이트일까?’라는 생각이 들었다. 그 고객의 주장은 명확했다.
사내식당에서 자신이 좋아하는 메뉴를 먹고 싶어도, 사람들이 몰려 줄이 길어지면 기다림을 포기하고 다른 메뉴를 선택하게 되고, 이 선택이 쌓여 모바일 추천 결과가 실제 내가 먹고 싶은 메뉴와 다르게 추천된다는 것이다. 오리혀 이력 데이터를 제외하기 기능이 있다면 취향에 더 맞지 않겠는가?라는 질문이었다.
듣자마자 고개가 끄덕여졌다. 맞는 말 같았다. 그런데 정말 그럴까?
그러나 데이터를 분석한 결과, 13명의 베타테스터 95%는 평소 취향과 메뉴 선택 이력이 일치했다. 고객들은 대부분 자신이 선호하는 메뉴를 실제로 선택해 식사하고 있었다. 한 명의 사례가 잘못된 것은 아니지만, 전체를 대표하는 사실도 아니었다. 적은 표본의 목소리가 전체의 진실로 둔갑하는 순간, 서비스는 잘못된 방향으로 향할 수 있다. 한 사람의 의견은 소중하다. 그러나 전체의 데이터를 통해 문제의 본질을 찾아야 한다.
‘소수의 법칙’을 통해 표본의 수가 적을수록 극단적인 결과가 나타나며, 표본이 커질수록 결과가 모집단의 평균으로 수렴한다고 한다. 인지심리학자들은 왜 이런 연구를 했을까?
1️⃣ 사람은 작은 표본을 쉽게 일반화하기 때문
인간은 작은 표본에서 나타난 극단적인 사례를 보고 모집단 전체의 특성이라고 착각하는 경향이 있다.
예를 들어, “작은 학교의 대학 진학률이 높다 → 작은 학교가 더 좋은 교육 환경을 제공한다”라는 식으로 단순 인과 스토리를 만들어 내며 서사 오류에 빠진다.
인지심리학자들은 이러한 ‘대표성 휴리스틱(Representativeness Heuristic)’의 작동 메커니즘을 실험으로 검증하고 싶어 했다.
2️⃣ 사람은 표본의 크기에 둔감하다
사람들은 표본의 크기에 따른 변동성(Variance)을 잘 고려하지 않는다.
표본이 작을수록 극단값이 쉽게 나오는데, 이를 무시하고 “결과가 특이하니 원인이 특별할 것”이라고 결론짓는다.
이를 **‘표본 크기 무시 오류(Insensitivity to Sample Size)’**라고 하며, 이를 검증하고 설명하기 위해 실험을 진행했다.
3️⃣ 의사결정 오류를 줄이기 위한 목적
인지심리학자들은 사람들이 왜 잘못된 판단을 하는지를 이해함으로써, 정책, 경영, 의료, 투자, 일상적 선택 등에서 실수를 줄일 수 있도록 돕기 위해 실험을 한다.
다니엘 카너먼(Daniel Kahneman)과 아모스 트버스키(Amos Tversky)도 사람들의 직관적 판단이 어떻게 편향되고, 왜 그럴 수밖에 없는지를 밝혀내기 위해 이 실험을 진행해 ‘행동경제학’의 기틀을 마련했다.
4️⃣ 실험 예시: 병원 신생아 성별 실험
카너먼과 트버스키의 대표적 실험 중 하나는 다음과 같다.
어느 병원에서 차례로 태어난 여섯 아기의 성별을 생각해 보자. 이 사건은 무작위적이다. 즉, 서로 독립적이며, 서로 영향을 미치지 못한다는 말이다.
*남남남여여여
*여여여여여여
*남여남남여남
어떤 순서로 아기들이 태어날 확률이 높다고 생각하는가? 대부분이 세번째가 나머지보다 일어날 확률이 높다고 생각한다. 왜 그럴까?
우리는 일정한 유형(패턴)을 찾으려고 노력하고, 논리적 세상을 믿고 싶어 한다. 통계학자 윌리엄 펠러는 사람들이 있지도 않은 패턴을 얼마나 쉽게 찾아내는지 설명했다. 비전문가의 눈에는 무작위성(Randomness) 이 패턴(Regularity) 또는 클러스터(tendency to cluster)처럼 보이는 것이다.
소수의 법칙_패턴인지 착각이번 경험은 내게 중요한 교훈을 주었다.
✅ 소수의 법칙은 고객의 목소리를 무시하라는 뜻이 아니다.
오히려 고객의 목소리를 귀 기울여 듣되, 그것이 전체를 대변하는지 데이터를 통해 확인하고, 더 근본적인 문제를 찾기 위해 질문하라는 것이다.
✅ 통계적 사고를 유지하라.
작은 표본은 극단적 결과를 만들어낼 가능성이 크다. 큰 표본에서 평균으로 수렴되는 패턴을 발견할 때, 비로소 전체의 진실에 가까워진다.
메뉴 추천 서비스도, 우리의 비즈니스도 마찬가지다. 누군가의 강력한 피드백에 흔들리기 전에, “정말 그럴까?”라고 스스로 질문하자. 그리고 데이터의 목소리와 고객의 목소리를 함께 듣자.
한 사람의 이야기를 존중하되, 전체 데이터를 통해 더 나은 방향으로 나아가는 것이 ‘소수의 법칙’을 실무에 적용하는 가장 현명한 방법이다.
