[특집] Outlier: 정밀한 판단의 대상
다섯 가지 통계적 이상치 검출법 비교와 적용
시작하며. 그 값은 정말 지워도 되는 걸까?
실험 데이터를 분석하다 보면 종종 눈에 띄는 ‘유난히 튀는 값’, 즉 이상치(outlier)와 마주하게 된다. 이상치를 제거하느냐 마느냐는 단순한 선택 같지만 실제로는 통계적 가정, 데이터 구조, 해석의 목적에 따라 달라지는 정밀한 판단의 문제다.
이번 특집에서는 가장 널리 쓰이는 다섯 가지 이상치 분석법을 비교하고 각각의 적용 조건과 구체적인 연구 상황 속 예시를 통해 그 ‘제거할 가치’와 ‘보존할 의미’를 어떻게 판단할 것인지 살펴본다.
서론. Outlier는 단순히 평균에서 벗어난 수치가 아니다
어떤 실험에서는 그것이 측정 오류의 산물이지만 또 다른 상황에서는 생물학적 다양성의 표현일 수도 있다. 그럼에도 많은 연구자들은 익숙한 IQR 방식만을 사용하거나 감에 의존해 outlier를 제거한다. 하지만 정량적 해석과 논문 심사를 통과하기 위해서는 적절한 통계 기법과 해석적 근거가 필요하다.
이번 특집에서는 다음의 다섯 가지 분석법을 다룬다.
1. IQR
2. Grubbs' Test
3. Dixon's Q Test
4. ROUT Method (FDR 기반)
5. Z-score Method
본론 1. 다섯 가지 Outlier 분석법의 개요와 원리
1. IQR (InterQuartile Range)
- 원리: 사분위 범위(IQR = Q3 – Q1)를 기준으로 Q1 – 1.5×IQR 미만, Q3 + 1.5×IQR 초과의 값을 outlier로 간주
- 가정: 분포 형태에 대한 가정 없음 (비모수적)
- 장점: 직관적이고 robust함
- 단점: 표본 수가 작을 때 민감도가 낮음
- 적용 예시:
» RT-qPCR에서 ΔΔCt 값이 대부분 0~1 사이인데 유독 한 시료에서 1.5가 나왔다면?
» → IQR 기준 상한을 벗어난 값이므로 실험오류 가능성 강함
» → 단, 비정규분포가 예상되는 ΔΔCt 데이터에는 IQR이 적절한 선택
2. Grubbs' Test
- 원리: 가장 멀리 떨어진 값을 평균과 비교해 그 차이가 통계적으로 유의미한지를 검정
- 가정: 정규분포
- 장점: 유의성 기반 정량적 판단 가능
- 단점: 한 번에 하나의 outlier만 검출, 정규성 위배 시 오류 발생
- 적용 예시:
» ELISA에서 6개 샘플이 모두 200~250 사이였는데 1개가 390이 나왔다면?
» → Grubbs test 결과 p < 0.05 → outlier로 간주 가능
» → 정규성 검정 통과했을 경우에는 통계적으로 ‘제거해도 된다’는 판단 가능
3. Dixon's Q Test
- 원리: 정렬된 값 중 양 끝값이 얼마나 극단적인지를 이웃값과의 거리로 측정
- 가정: 소규모 데이터, 정규분포
- 장점: 계산 간단, 소수 샘플(n ≤ 30)에 적합
- 단점: 복수 outlier 제거 불가, 정확도 낮음
- 적용 예시:
» 10마리 mouse에서 조직 내 독성 농도 측정 결과, 한 개체만 2배 이상 높은 수치를 보인 경우
» → Dixon’s Q 계산의 임계값 초과 시 통계적으로 제거 가능
» → 수치적 근거를 제공하되 생물학적 원인이 있는지 재검토가 필요
4. ROUT (Robust Regression and Outlier Removal)
- 원리: FDR(False Discovery Rate) 통제 기반으로 다수 outlier 감지
- 가정: 정규성 강제 아님, 회귀 적합 기반
- 장점: 복수 outlier 감지 가능, 민감도 높음
- 단점: 파라미터(Q 값) 설정이 복잡할 수 있음
- 적용 예시:
» 동물실험에서 n=15의 혈압 측정 결과, 몇 마리에서 일시적으로 극단적 수치 관측됨
» → ROUT(FDR 1%) 분석으로 3개 outlier 감지
» → 제거 시 그룹 간 유의성이 유지되며 통계적으로 보정된 제거로 논문 reviewer 대응에 유리
5. Z-score Method
- 원리: 각 값이 평균에서 어느 정도의 편차치를 갖는지 계산 (|z| > 2~3이면 outlier로 간주)
- 가정: 정규분포
- 장점: 대량 데이터에서 빠른 적용 가능
- 단점: 분포 왜곡에 민감, 소표본에는 부적합
- 적용 예시:
» 임상 데이터를 기반으로 한 대규모 바이오마커 발현량 분석 (n > 100)
» → Z-score 기준 |z| > 3인 5개 데이터 제외
» → 데이터 클렌징 단계에서 빠르게 극단값 제거 가능
본론 2. 실험 조건에 따른 선택 전략
* 정규성이 확인되지 않았을 때
- IQR 또는 ROUT 사용 권장
» IQR은 Excel의 quartile 함수를 이용하여 간단히 계산 가능
» ROUT는 통계툴로 흔히 사용되는 GraphPad Prism에서 가장 권장되는 outlier 분석법으로,
회귀선을 중심으로 잔차(residual)를 판단하는 과학적 방식으로의 접근이 가능
- Non-parametric 방식으로 왜도나 분포형 영향을 최소화
* 샘플 수가 적고 극단값이 1~2개일 때
- Grubbs 또는 Dixon Q Test 적합
- 통계적 유의성을 명시할 수 있어 reviewer 대응에도 유리
* 대규모 데이터 탐색 목적일 때
- Z-score method 적합
- 빠르게 다차원 변수 정리 가능, 최종 해석은 다른 방법과 병행 필요
* 생물학적 이유가 의심되는 경우
- outlier 제거 전, 기술적 오류 vs 생물학적 다양성 여부 검토 필수
- 특히 genomic, transcriptomic, metabolic 데이터는 무작정 제거 위험
본론 3. Outlier 분석법과 생물학 실험 기법 적용 적합성
아래에 가정된 연구기법을 토대로 적용 예시를 들어보도록 하겠다.
* 실험 조건 요약
* 분석법별 적합성 평가표
* RT-qPCR ( n=12, 3반복)
- IQR: 기술 반복 간의 분산을 boxplot 등으로 시각화 가능. 로그 전처리 후 적용하기 좋음.
- Grubbs’: 각 그룹 내 단일 극단값 탐지에 유효. 반복 수가 많아 신뢰도 확보.
- Dixon’s Q: 가능하나 반복 수가 많아 비효율적. 다른 방법이 더 우수.
- ROUT: 잔차 기반의 이상치 탐지에 매우 적합. FDR 제어까지 가능.
- Z-score: Ct 값 정규화 후 적용 가능. 정규분포 가정이 비교적 타당함.
- 추천: IQR, ROUT, Grubbs’
* ELISA (n=8, 3반복)
- IQR: 중앙값 기반 비모수적 접근이 유효. 반복 간 편차를 잘 반영.
- Grubbs’: 반복값 정규성 확보 시 유효. 단일 이상치 검정.
- Dixon’s Q: n=8 조건은 만족. 반복 간 정렬이 가능할 경우 제한적으로 사용 가능.
- ROUT: 선형/비선형 OD 곡선 기반 분석에 유용. 특히 농도-반응 관계에서 효과적.
- Z-score: 정규성 확보 시 유효하나, 반복 간 편차가 크면 신중해야 함.
- 추천: IQR, ROUT (Grubbs’는 보조적으로 사용 가능)
* Western blot (n=4, 반복 없음)
- IQR: 최소 n=5 이상 필요. 적용 부적합.
- Grubbs’: n=4는 검정력 매우 낮아 권장되지 않음.
- Dixon’s Q: n=4는 적용 불가능.
- ROUT: 반복 없이 회귀 모델 불가능. 사용 불가.
- Z-score: 평균, 표준편차의 신뢰도가 매우 낮음. 비추천.
- 결론
» WB에서는 통계적 이상치 검정은 적합하지 않음.
» 대신 시각적 기준, densitometry log 변환, biological replicate 비교 권장.
* 동물실험 (n=6, 3반복)
- IQR: 중앙값 기반 비모수적 방법으로 이상치 탐지에 적합.
- Grubbs’: 반복이 있어 n=6 조건에서 1개 이상치 탐색 가능.
- Dixon’s Q: n=6은 경계선이지만 가능. 반복 있으면 정렬 후 적용 가능.
- ROUT: 회귀 모델이 수립 가능한 설계일 경우 적용 유효.
- Z-score: 정규성 가정 하에 조건부 적용 가능하나, 개체간 편차 클 경우 해석 주의 필요.
- 추천: IQR, Grubbs’, ROUT (Dixon’s Q는 제한적으로)
* 종합 정리
결론. 수치로는 보이지 않는 것들
통계적으로 제거해야 할 값처럼 보이는 outlier는 때로 과학의 진보를 이끈 결정적 단서가 되기도 한다. 대표적인 예가 천왕성의 궤도 이상치다. 19세기 중반, 천왕성의 공전 궤도는 뉴턴의 중력 법칙으로는 설명되지 않는 미묘한 오차를 보였다. 이 이상한 값은 단순한 측정 오차로 간주될 수도 있었지만 프랑스의 수학자 르베리에는 이 outlier를 근거로 ‘보이지 않는 행성’이 존재할 것이라 예측했다. 그 예측은 곧 독일 천문대에 의해 실제로 관측되었고 해왕성의 발견으로 이어졌다.
이처럼 outlier는 시스템 오류가 아니라 기존 이론이 설명하지 못하는 현실의 징후일 수 있다. 현대 생물학에서도 DNA 복제 중 비정상적 염기 배열이 단순 실험오차가 아니라 유전병이나 발암 기전의 단서로 연결되는 사례가 흔하다. 우리가 outlier를 무시하지 않고 오히려 그것이 왜 존재하는지를 물을 때 새로운 패러다임의 문이 열린다.
따라서 outlier 탐색은 단순한 데이터 정제 과정이 아니라 기존 지식을 확장하거나 반증하는 실마리가 될 수 있다. 연구자든 데이터 분석가든 이상치를 마주했을 때 그저 배제하기보다는 잠시 멈춰 질문을 던져야 한다.
이 값은 왜 튀어나왔을까?
그 질문이야말로 과학적 호기심의 본질이며 모든 발견의 출발점이 된다.
맺으며. Outlier는 단순한 오류값이 아니다
실험의 설계, 데이터의 구조, 통계적 가정, 생물학적 해석이라는 네 축 사이에서 그 값의 의미는 끊임없이 변한다. 이번 특집에서 소개한 다섯 가지 분석법은 각자의 강점과 한계를 지녔으며 모든 상황에 만능인 방법은 없다.
실험자는 판단자다.
그 판단을 더 잘 내리기 위해 outlier 제거는 수식보다 문맥을, 계산보다 근거를 필요로 한다. 그리고 바로 그것이 통계가 아닌 과학적 통찰의 영역에서 이루어져야 할 마지막 결정이다
데이터 속 outlier는 때로는 실험의 실수, 때로는 새로운 발견의 단서다.
그 가치를 구분하는 힘은 계산기 너머의 시선에 달려 있다. 당신의 실험이 ‘지워야 할 값’을 넘어 ‘해석해야 할 의미’를 남기기를 바란다.