샘플링 오류의 함정
몇 번의 실패로 나를 정의하지 않는다는 것
던전 입구에 들어섰는데, 전방에서 몬스터가 나타났습니다.
전사는 몬스터를 향해 연달아 공격을 시도했지만...
1회 공격: 빗나감
2회 공격: 빗나감
3회 공격: 빗나감
안타깝게도 모든 공격이 막혔습니다.
파티원이 말합니다.
"젠장, 이 던전은 우리 레벨로는 공략할 수 없어! 이 던전 몬스터는 너무 강력해!"
마법사는 지팡이를 내려놓으며 절망합니다.
고작 세 번의 시도. 고작 던전 복도 하나에서 얻은 몇 개의 데이터만으로 파티는 이 던전을 불가능하다는 최종 결론은 내렸습니다.
"정말 n=3으로 판단하시겠습니까?"
"...n이 뭔가요?"
"샘플 크기입니다. 당신은 지금 3번의 시도만으로 전체를 판단하고 있습니다."
저는 그 말을 듣고 깨달았습니다.
제 삶도 몇 번의 실패로 인한 감정 기복이 기폭제가 되어 잘못된 판단을 내린 적이 있었으니까요.
샘플링에도 공식이 있습니다
게임 데이터를 분석할 때, 우리는 전체를 볼 수 없습니다.
샘플(Sample)만 봅니다.
그리고 샘플로 전체(모집단)를 추정합니다.
표본 평균의 표준 오차 (Standard Error):
SE = σ / √n σ: 모집단 표준편차 n: 샘플 크기
n이 작으면:
SE ↑ (오차 커짐)
신뢰도 ↓
판단 위험
n이 크면:
SE ↓ (오차 작아짐)
신뢰도 ↑
판단 안전
이럴 듯, 샘플은 '나의 전체 잠재력'을 대표하지 못하고, 몇 번의 부정적인 결과만으로 '나는 안 되는 사람'이라고 잘못된 결론을 내립니다.
신뢰구간 (Confidence Interval):
CI = X̄ ± (Z × SE)
X̄: 표본 평균
Z: 신뢰 수준 계수 (95% → 1.96)
n=3일 때:
CI 매우 넓음
"내 능력은 0~100% 어딘가"
아무것도 모름
n=100일 때:
CI 좁아짐
"내 능력은 65~75% 정도"
명확해짐
하지만, 주사위 세 번 던져서 모두 1이 나왔다고 ' 이 주사위는 1이 나올 확률이 높다고'맹신하는 것도 문제입니다.
적은 횟수의 실험에서 나온 결과를 전체 확률처럼 믿어버리면 단 한 번의 실패로 내일의 자신까지 실패로 규정짓게 만들기 때문이죠.
그렇기에 이 실패가 체계적 오류인지, 무작위 오류인지 구분해야 합니다. 그러기 위해서는 내 능력을 믿을 수 있는 구간의 크기를 늘리고 결정하는 것이 필요합니다.
내 안의 세 결(結)이 조용히 말을 건넸습니다
전사가 칼을 쥐며 말했습니다.
"n이 작으면 판단하지 마. 3번 실패했다고 '나는 안 되는 사람'이라고? 그건 샘플링 오류야. 샘플 크기(n)를 늘려. 30번, 100번 시도해 봐. 그때 판단해."
마법사가 지팡이를 들며 말했습니다.
"중요한 건, 오류의 종류를 구분하는 거야. 체계적 오류(Systematic Error)와 무작위 오류(Random Error). 체계적 오류는 설계 문제야. 방향이 잘못됐어. 무작위 오류는 운이야. 오늘 주사위가 나빴을 뿐이지."
치유사가 부드럽게 손을 얹으며 말했습니다.
"그리고 샘플링 편향(Sampling Bias)을 조심해. 나쁜 기억만 골라서 보는 거. '나는 맨날 실패해'라고 생각하지만, 실제론 성공도 많았어. 편향된 샘플로 나를 정의하지 마."
저의 인생은 n=5
오랫동안 저는 제 삶의 '나쁜 샘플'들에 잠식당하는 것을 두려워했습니다.
그래서 급하게 선택하고 실수를 반복하였죠.
그렇게 새로운 일을 시도과 안정 사이를 오가며 실패와 시도를 반복했습니다.
1회 시도: 실패
2회 시도: 실패
3회 시도: 실패
4회 시도: 실패
5회 시도: 실패
n=5, 성공률 0%
결론: "나는 이 일에 재능이 없어."
그렇게 결론내린 후 실패한 것을 다시 도전하지 못하고, 후회가 되어 지금도 나를 웅크리게 합니다.
하지만 지금 생각해 보니 그건 샘플링의 오류였습니다.
실제 나는 성장했고, 발전되어 있었으니까요.
실제 성공률 계산:
제가 계속했다면:
총 시도: 100회
성공: 68회
실패: 32회
실제 성공률: 68%
하지만 그때의 저는 n=5만 보고 판단했습니다.
SE = σ / √n
n=5일 때:
SE 매우 큼
신뢰구간: 0% ~ 100%
"내 능력은 0~100% 어딘가"
아무것도 모르는 상태에서 포기하고, 그런 나를 부끄러워한 거죠.
지금은 n=100
지금은 같은 일을 다시 시작하고, 반복합니다.
1~10회: 실패 8회, 성공 2회 (20%) "여전히 안 되나...?"
11~30회: 실패 12회, 성공 8회 (40%) "조금 나아지는 건가...?"
31~60회: 실패 15회, 성공 15회 (50%) "반반이네."
61~100회: 실패 12회, 성공 28회 (70%) "아, 이제 되네!"
n=100, 성공률 68%
SE = σ / √100 = σ / 10
n=5일 때보다 SE가 √20배 작아졌고, 신뢰 구간도 58% ~ 78%로 평균치가 보였습니다.
그제야
"내 능력은 대략 68% 정도구나."
라는 생각으로 내 가치를 보는 것이 명확해졌습니다.
그제야 깨달았습니다. 과거의 실수고 실패라 판단한 것은 나를 n=5로 설정했기 때문이란 것을요.
샘플링 편향
하지만 그런 문제를 알면서 오랜 기간 방치하고 스스로를 자학한 이유는 내가 가진 실패의 기억 때문이었습니다. 바로 샘플링 편향 (Sampling Bias) 때문이었죠.
편향된 샘플 평균:
E[X_biased] ≠ μ (모평균)
실제 제 한 달:
좋은 날: 20일
나쁜 날: 10일
실제 비율: 67% 좋음
하지만 제 기억:
좋은 날: 5일만 기억
나쁜 날: 10일 모두 기억
기억 속 비율: 33% 좋음
으로 나쁜 기억만 골라서 왜곡된 기억으로 남은 것이었죠.
왜 이리 이불 킥하는 기억들은 오래 기억에 남아 자학하게 되는지..
그렇게 모여 샘플링된 기억들이 나의 가치를 갉아먹었습니다.
"내 인생은 맨날 안 좋아."
" 왜 이리 운이 안 풀릴까?"
하지만 그건 편향된 샘플이었습니다.
실제론 67%가 좋은 날이었는데, 나쁜 날만 기억해서 33%가 전체 기억을 왜곡한 것이었죠.
체계적 오류 vs 무작위 오류
"오류에는 두 종류가 있습니다."
1. 체계적 오류 (Systematic Error)
설계 자체의 문제
방향이 잘못됨
계속해도 안 됨
예:
애초에 나에게 안 맞는 일
독성 관계
잘못된 접근 방식
해결: 방향 전환 필요
2. 무작위 오류 (Random Error)
운의 문제
일회성 변동
계속하면 평균으로 수렴
예:
오늘 컨디션 나쁨
상대방 기분 안 좋았음
타이밍 안 맞음
해결: n 늘리기 (계속 시도)를 하는 것입니다. 그리고 그 보다 가장 중요한 건 체계적 오류인지, 무작위 오류인지 구분하는 것이죠.
체계적 오류인데 계속하면 → 시간 낭비 무작위 오류인데 포기하면 → 기회 상실입니다.
그리고 3번 실패했을 때 그게 과연 완전한 실패라고 결정지을 수 있나요?
그러니 n을 늘려봐야 합니다.
30번, 100번 시도해 보고 도전해 보면 그 안에서 다듬어지고 완성되어 성공률이 올라가는 것이죠.
그러니 3번의 시도와 실패로 결정하고 판단하지 마세요
내 안의 세 결(結)이 다시 말했습니다
전사가 검을 들었습니다.
"샘플 크기를 늘려. n=3으로 판단하지 마. 최소 n=30. 그때 봐. 체계적인지, 무작위인지."
마법사가 계산했습니다.
"SE = σ / √n. n이 작으면 SE가 커. 오차가 커. 신뢰할 수 없어. n을 10배 늘리면, SE는 √10배 줄어. 3.16배 정확해져."
치유사가 미소 지었습니다.
"그리고 편향을 조심해. 나쁜 기억만 골라 보지 마. 좋은 날도 있었어. E[X_biased] ≠ μ. 왜곡된 샘플로 너를 정의하지 마."
오늘의 실천
오늘 하루, 샘플링 오류를 점검해 보세요.
체크리스트:
n 확인하기 몇 번 시도했나요? n < 10이면 판단 보류 n ≥ 30이면 패턴 확인
오류 구분하기 계속 실패? → 체계적 오류 (방향 전환) 들쭉날쭉? → 무작위 오류 (n 늘리기)
편향 제거하기 나쁜 기억만 세고 있나요? 좋은 날도 기록하기 실제 비율 계산하기
작은 실천:
오늘의 좋은 일 3가지 적기
이번 주 시도 횟수 세기
성공/실패 비율 계산하기
당신은 몇 번 시도했나요
"3번 실패했어. 불가능해."
그럼 그 질문에 이렇게 물어보세요.
"n=3으로 모든 도전 전체의 결과를 판단하시겠습니까?"
몇 번의 실패로 나를 정의하는 것은, 던전 전체를 복도 하나만 보고 판단하는 것과 같다는 것을.
당신은 지금, 몇 번의 샘플로 당신을 판단하고 있나요?