데이터 오류의 늪에 빠지지 않는 기술
샴의 법칙(Sahm rule)으로 알아본 데이터의 기능과 한계
# 1. 데이터의 한계점과 샴의 법칙
오늘은 '데이터는 항상 옳을까?'라는 질문을 중심으로, 우리가 흔히 믿고 따르는 데이터의 신뢰성, 나아가 데이터를 활용하는 인공지능에 대해 이야기해보려고 합니다. 데이터와 인공지능이 결합된 현대 사회에서는 데이터를 바탕으로 중요한 결정을 내리는 경우가 많습니다. 하지만 이러한 데이터 기반 의사결정은 언제나 옳을까요? 이 질문에 답하기 위해 우리 삶에 직접적인 영향을 미치는 경제 이야기를 가져왔습니다.
샴의 법칙(Sahm rule)
이라고 들어보셨나요?
우리가 집을 사고, 차를 살 때, 또 은행에 예적금을 할 때 중요한 것은 바로 금리입니다. 이러한 금리에 대해, 미국의 금리는 우리나라를 포함한 세계 경제에 영향을 주는데요. 여러분은 “미국의 금리를 결정하는 곳이 어디인지 아시나요?” 네, 바로 미국 연방공개시장위원회(FOMC)입니다. 이 회의가 2024년 7월에 열렸는데, 회의 직후 있었던 기자회견* 에서 재미있는 질문이 나왔습니다. '샴의 법칙’에 대해 어떻게 생각하느냐'는 질문이었습니다.
실업률이 “샴의 법칙” 수준까지 갈 것에 대해서 얼마나 우려를 하고 계시는지?
이것이 금리 이하의 근거가 될 수 있는지 궁금합니다.
How worried are you all about unemployment rising to the point where it triggers the Sahm rule, and would that potentially affect how quickly you cut rates?
[다운로드] Transcript of Chair Powell's Press Conference -- July 31, 2024
그렇다면 '샴의 법칙'이란 무엇일까요? 샴의 법칙은 최근 3개월 실업률의 평균이 직전 1년 실업률의 최저점보다 0.5% 포인트 이상 높으면, 경기 침체가 시작된다는 법칙입니다. 쉽게 생각해서, 실업률이 상승하면 가계 소득 및 소비가 감소하고, 이것은 기업의 이익 둔화로 이어져 다시 해고가 이어지면서 경기침체가 온다는 개념입니다.
실업률 상승 → 가계 소득 및 소비 감소 → 기업이익 둔화
→ 실업률 상승 → 가계 소득 및 소비 감소 → 기업이익 둔화 →… → (경기침체)
실시간 샴의 법칙 경기침체 지표 (Real-time Sahm Rule Recession Indicator)
실시간 샴의 법칙 경기침체 지표 (출처 : FRED; Federal Reserve Economic Data)이 법칙은 1970년 이후 발생한 미국의 경기 침체에 대해 9번을 모두 적중한 것으로 알려져 있습니다. 그렇기에 경제학자들과 금융 분석가들 사이에서 주목받는 지표 중 하나이죠.
2024년 7월 FOMC에서 질문되었던 시기에 대해 실제 계산을 해보면 이렇습니다.
2024년 5월의 실업률은 4.0%, 6월 4.1%, 7월 4.3%의 3개월 평균은 4.13%입니다.
그리고 12개월 실업률 최저치는 3.6%입니다. 이제 이 둘의 차이 4.13-3.6 = 0.53%가 됩니다.
그래프를 보시는 것처럼 이 데이터는 0.53%로 경기침체 기준점인 0.5%를 넘어섰습니다.
다시 FOMC 기자회견으로 돌아가서,
이 질문에 제롬 파월 연준 의장은 뭐라고 답했을까요?
단지 역사 속에서 발생한 통계적인 일, ‘통계적 규칙성’이다.
statistical thing that has happened through history. “statistical regularity”
그는 이렇게 답했습니다. "샴의 법칙은 경제법칙이 아니라 과거의 현상일 뿐이며 역사는 되풀이되지 않는다"라고 말했습니다. 즉, 샴의 법칙이 발동됐다고 해서 반드시 경기침체가 온다고 단정할 수 없다는 뜻이죠. 그러면서 제롬 파월 의장은 이것을 “통계적 규칙성” 란 단어로 표현했습니다. 과연 파월 의장은 그 단어를 통해 무엇을 말하고 싶었을까요?
제롬 파월 의장의 “통계적 규칙성”은 긍정어도 부정어도 아닙니다. 그가 말하는 것은 바로 통계의 기능과 한계에 대해 명확히 하고 싶었던 것입니다. 통계란 시험이나 조사 등을 통해 얻은 데이터를 체계적으로 수집, 정리, 분석해서 얻어진 결과를 과학적 방법으로 집계하여 현상을 설명하거나 예측하는 수단입니다.
과학에 기반한 통계는 분명 긍정적인 기능을 가지고 있습니다. 하지만 반대로 데이터의 편향과 같은 한계점도 존재합니다. 우리는 '샴의 법칙'을 중심으로 데이터에 편향이 무엇인지, 왜 위험한지 살펴보겠습니다.
첫 번째는 과거 데이터 편향(Data conservatism Bias)입니다.
지금까지 경기 침체 9번에 대해 법칙이 들어맞았다 . 바로 과거에 데이터에 한해서입니다. 이것을 우리는 과거 데이터 편향(Data conservatism Bias)이라고 합니다.
대표적으로는 신문마다 등장하는 R의 공포도 마찬가지입니다. R의 공포란? '경기침체(Recession)'의 앞 글자를 따서 만든 용어로 경기침체의 공포라는 뜻인데요. 일반적으로 장기 금리가 더 높지만, 장기 금리가 단기 금리보다 낮아져서 이 금리가 역전이 되었다는 의미다. 한마디로 장기적으로 경제 불황이 예상된다는 심리가 작용하여 장기 금리가 더 낮아지는 현상을 말합니다. 이 또한 과거에 있었던 6번의 사건에 대해 금리차이라는 데이터로 설명하는 일반화의 시도로 이번 사건도 과거와 같다를 전제하고 있습니다.
장단기 금리차이 10-Year Treasury Constant Maturity Minus 2-Year Treasury Constant Maturity
장단기 금리차이 (출처 : FRED; Federal Reserve Economic Data)
두 번째는 데이터 편승 효과(Data Bandwagon Effect)입니다.
클라우디아 샴(Claudia Sahm)은 미국 연방준비제도(Federal Reserve)에서 일했던 경제학자입니다. 이러한 그녀의 사회적 배경이 사람들로 하여금 더욱 그 데이터를 신뢰하게 하였고, 그 데이터를 추천하는 사람들이 늘어났습니다. Bandwagon은 퍼레이드나 서커스의 선두에 서서 경쾌한 악기를 연주하며 이목을 끄는 사람들이 탄 차를 말하는데요.
이처럼 저명한 박사와 같이 사회적인 위치가 높은 사람이 사용한 데이터나, 많은 사람들이 추천한 데이터를 따르는 편향을 말합니다. 이것은 데이터 활용과 분석에서 대표적으로 주의해야 할 집단적인 편향 사고의 한 형태입니다.
세 번째는 데이터 특징 효과(Data Feature Effect)입니다.
어떤 데이터를 접할 때 가장 눈에 띄는 특징을 먼저 발견하고, 그 데이터에만 집중하는 현상을 말합니다. 데이터를 시각화했을 때 눈에 띄는 부분에 의미를 부여하고 인사이트를 찾게 되는데, 특정 수치를 만들어 대입하고는 법칙으로 만들어버리는 경향이 있습니다.
0.5%는 이상이고, 0.49%는 정상이다라고 말이죠. 경기 침체가 왔던 특정 그룹과 실업률 데이터 2가지가 보이는 특징만을 가지고, 모든 것을 일반화하는 오류를 말합니다.
제롬 파월 의장 역시 이와 관련하여 이렇게 답변을 하였습니다.
그것은 라임이 맞는다.
It rhymes.
“역사는 되풀이되지 않습니다. 비슷하지만 조금 다른 양상을 보입니다. 팬데믹 시절에도 노동 법칙 또는 경제 법칙이 맞지 않았던 적이 굉장히 많았습니다. 예전에 우리가 배웠던 교훈이 적용되지 않았던 경우가 많았습니다 지금 상황 폐쇄로 인해서 발생한 것이기 때문입니다 그리고 공급 문제 역시 매우 강력한 수요 속에서 발생을 했었습니다.”
그래서 전체적인 상황을 봤을 때 과거의 인플레이션이나 또는 둔화는 다르다고 말합니다. 그렇기 때문에 판단을 더 신중하게 내려야 한다고 말하죠.
# 2. 데이터의 기능과 확률통계
지금까지는 데이터의 한계 관점에서 접근했다면, 이제는 통계를 구성하는 데이터의 기능 관점에서 접근해 보겠습니다. 가장 큰 것은 실제를 나타내는 모집단, 그리고 그중에 샘플링을 해서 얻은 표본에 대한 이해가 선행되어야 합니다.
우리가 경제에 대해 연구한다고 가정해 볼게요. 이 경우, 모집단은 특정기간 동안 발생한 경기과열, 경기호황, 경기침체, 경기불황에 대한 모든 경우를 포함할 수 있습니다. 이 중에서 모든 경우를 조사할 수 없기 때문에, 경기 침체에 대한 경우만을 뽑아서 표본을 만들 수 있습니다.
이제 해당 표본에서 얻은 특징만을 가지고 모집단 전체에 대한 추론을 하게 됩니다. 하지만 이 과정에서 중요한 점은 표본이 모집단을 얼마나 잘 대표하는지, 표본을 바탕으로 한 추정이 신뢰도가 얼마나 높은지입니다. 그리고 이를 위해 표본의 크기나 표본의 선택방법 등 통계적 기법이 중요하게 됩니다.
재현율 100% vs 정밀도 81%
이러한 분류문제에 대해 인공지능 모델이나 알고리즘을 평가하는 가장 기본적인 방식은 Confusion matrix 오차행렬입니다. 경기 침체 9건에 대해 모두 경기 침체라고 예측을 했으니 이에 대한 재현율은 100%입니다. 샴의 법칙은 1970년 이후 발생한 경기침체 9번에 대해 모두 정답을 예측했습니다.
하지만 1959년과 1969년에는 침체가 없었지만 침체라고 잘못 판단하는 오류가 나타났습니다. 이렇게실제는 정상인데 이상(여기서는 침체)라고 판단하는 오류를 거짓 양성(False Positive)이라고 합니다.
앞서 설명드린 재현율을 계산하는 방식과는 달리, 거짓양성을 포함해서 모델을 평가하는 지표를 정밀도라고 하고, 거짓양성 2건을 포함하는 정밀도는 81%입니다. 오늘날 정밀도가 81%인 모델을 전 세계에서 열광하는 것에 대해서는 좀 더 신중하게 접근할 필요가 있지 않을까요?
앞서 데이터에서 표본을 뽑을 때 중요한 요소는 샘플수와 샘플을 구성하는 방식이라고 설명드렸습니다. 그럼 이제 데이터의 샘플수에 대해서 말씀드려야 할 때입니다.
첫째, 큰 수의 법칙 Law of Large Numbers
사건을 무한히 반복할 때, 일정한 사건이 일어나는 비율은 횟수를 거듭하면 할수록, 일정한 값에 가까워지는 법칙을 말합니다. 이처럼 많은 사건들의 정규성, 다시 말해 수많은 선택한 표본들의 평균(표본평균)이 실제 평균(모평균)에 가까워지는 현상을 큰 수의 법칙이라고 합니다.
둘째, 중심 극한 정리 Central Limit Theorem
그리고 큰 수의 법칙을 확장하면 표본의 숫자가 많을수록, 우리가 알고자 하는 원래 모집단의 분포와 동일한 분포 형태를 띠게 되는 데 이것을 중심 극한의 정리라고 합니다.
예를 들어 우리가 주사위를 많이 던질수록 샘플수가 커져서 주사위를 한번 던졌을 때 나오는 기댓값의 분포가 3.5 부분이 볼록한 정규분포를 띄는 것과 같습니다.
이처럼 표본의 분포가 모집단의 분포와 같다고 가정하기 위해서는 표본의 크기가 최소 30개 이상은 되어야 합니다. 다시 강조하지만 표본의 수가 많을수록 원래 모집단의 특성과 가까워진다는 사실을 잊지 마세요.
이 두 가지 수학적 정리를 살펴보고 나니, 샴의 법칙에서 제공한 11개라는 샘플은 너무 작다는 사실을 알게 되었습니다. 마찬가지로 신중한 접근이 요구된다는 제롬 파월 의장의 말이 어떤 의미인지를 되새기게 됩니다.
오늘 우리는 데이터에 대한 이해를 바탕으로 데이터가 가지는 기능과 한계에 대해 알아보았습니다.
과거 데이터에 대한 편향, 그리고 데이터 오류의 가능성, 과대적합은 모두 우리가 데이터를 해석할 때 주의해야 할 부분입니다. 데이터를 맹목적으로 신뢰하기보다는, 다양한 시점과 관점에서 비판적으로 분석하고, 변화하는 상황을 고려해 유연하게 대응하는 것이 중요합니다. 데이터는 강력한 도구이지만, 그 도구를 어떻게 사용하는지가 더 중요하다는 말씀을 드리면서 마무리합니다. 감사합니다.
