Ep.10 믿음을 갱신하는 마법의 공식
새로운 믿음 = 기존 믿음 × 증거의 힘
[♪ 밝은 음악]
이지은: 안녕하세요, '안개 속을 걷다'의 이지은입니다! 오늘도 불확실성과 친해지는 시간, 함께해요!
여러분, 혹시 추리 소설 좋아하시나요? 저는 어릴 때 셜록 홈즈를 정말 좋아했는데요, <주홍색 연구>에서 홈즈가 처음 왓슨 박사를 만났을 때 "당신은 아프가니스탄에 다녀오셨군요"라고 추리하는 게 너무 신기했어요. 단서 몇 개만 보고 어떻게 이런 결론에 도달하는 걸까요?
[띠링!]
알고 보면 홈즈의 추리 과정은 이래요. 처음엔 여러 가능성을 열어두고(초기 믿음), 단서를 발견할 때마다 맞지 않는 가능성을 하나씩 지워나가죠. 하지만 우리 같은 보통 사람은 가능성을 그렇게 단칼에 잘라내기 어렵잖아요. 대신 단서에 따라 각 가능성을 높이거나 낮춰나가는(믿음 갱신) 방법이 있어요. 바로 오늘 배울 베이즈 정리! 지난 시간 배웠던 사전 확률과 데이터 지지도, 이 둘이 하나로 합쳐지는 순간이 드디어 왔습니다!
한 청취자분이 보내주신 사연으로 시작해 볼게요. "지은님, 저희 아이가 갑자기 '엄마, 나 학원 가기 싫어'라고 하네요. 평소엔 잘 다녔는데... 그냥 오늘만 피곤한 건지, 학원에서 무슨 일이 있었던 건지, 어떻게 판단해야 할까요?"
자, 우리도 셜록 홈즈처럼 아이의 말을 단서 삼아, 무슨 일이 있는 건지 추리해 볼까요?
여러분은 지금까지 세상을 이해하는 설명의 틀인 '모델'에 대해 배웠고, 그 모델 안에서 각 가설에 대한 초기 믿음인 '사전 확률'과 각 가설이 데이터를 설명하는 정도인 '데이터 지지도'에 대해 배웠습니다. 이제 모델이라는 틀 안에서 이 두 요소가 어떻게 결합되어 우리의 믿음을 갱신하는지 살펴볼 차례입니다.
셜록 홈즈의 추리를 다시 들여다봅시다. 홈즈가 왓슨을 보고 "당신은 아프가니스탄에 다녀오셨군요"라고 자신 있게 말했을 때, 그의 머릿속에서는 어떤 일이 벌어졌을까요?
홈즈는 몇 가지 단서를 순간적으로 포착했습니다. 의학적 지식이 있는 듯한 태도, 군인의 곧은 자세, 얼굴의 짙은 햇볕 자국과 대조적으로 하얀 손목, 왼팔의 부자연스러운 움직임. 평범한 우리라면 이런 단서들을 보고도 쉽게 답을 좁히지 못할 거예요. 열대 지역에서 봉사활동을 한 의사일 수도 있고, 해외 의료진으로 파견된 민간인일 수도 있죠.
하지만 홈즈는 당시 영국군이 아프가니스탄에서 전쟁 중이라는 배경 지식과 함께, 모든 단서를 종합해 '아프가니스탄에서 복무한 군의관'이라는 가설에 매우 높은 확률을 부여했습니다. 소설에서는 홈즈가 마치 100% 확신하는 것처럼 묘사되지만, 현실에서라면 아무리 높아도 80-90% 정도의 확신이 적절하겠죠.
홈즈의 극적인 추리와 우리가 배울 베이지안 추론, 즉 증거에 따라 각 가설에 대한 믿음을 조정해 나가는 추론 방식 사이에는 차이가 있습니다. 홈즈는 순간적으로 특정 가설에 매우 높은 확률을 부여하지만, 실제 베이지안 추론은 보통 더 점진적입니다. 하지만 여러 증거가 한 가설을 일관되게 지지할 때 믿음이 크게 증가한다는 핵심 원리는 동일합니다.
일상에서 우리도 새로운 단서를 접하면 자연스럽게 믿음을 바꿉니다. 하지만 얼마나 바꿔야 하는지는 대부분 직관에 맡기죠. 이 직관은 종종 우리를 배신합니다. 병원에서 '양성' 판정을 받으면 많은 사람들이 '병에 걸렸구나'라고 생각하지만, 실제로는 그 병이 얼마나 드문지, 검사가 얼마나 정확한지를 함께 고려해야 정확한 확률을 알 수 있죠. 이처럼 직관에만 의존하면 단서를 잘못 해석하기 쉽습니다. 베이즈 정리는 믿음을 얼마나, 어떻게 바꿔야 하는지를 수식으로 알려주는 도구예요.
베이즈 정리의 핵심은 간단합니다. 새로운 믿음은 초기 믿음에 증거의 힘을 곱한 것에 비례한다는 겁니다. 이를 간단히 표현하면: 새로운 믿음 = 초기 믿음 × 증거의 힘.
수식으로 표현하면 이렇습니다:
각 기호가 낯설게 느껴지실 수도 있지만, 대부분은 여러분이 Ep.7-9에서 이미 배운 개념들입니다. P(가설)은 사전 확률, 즉 데이터를 보기 전의 초기 믿음이고, P(데이터|가설)은 가설의 데이터 지지도예요.
여기서 새롭게 등장하는 개념이 P(가설|데이터), 사후 확률(posterior probability)입니다. P(가설)이 '데이터를 보기 전의 믿음'이라면, P(가설|데이터)는 '데이터를 본 후의 믿음'입니다. 베이즈 정리는 P(가설)에서 P(가설|데이터)로 어떻게 믿음을 바꿔야 하는지를 알려줍니다. 이는 데이터에 담긴 정보를 기존 믿음과 수학적으로 가장 합리적으로 통합하는 방식이에요.
분모의 P(데이터)는 모델이 데이터를 설명하는 정도를 측정합니다. 각 가설의 가중 점수(사전 확률 × 데이터 지지도)를 모두 더한 값으로, 일종의 모델 점수라고 이해하면 됩니다. 초기 믿음과 증거의 힘의 곱을 확률로 변환한다는 의미에서 정규화 상수(normalizing constant)라고도 합니다. 이 값은 Ep.5에서 설명한 전체 확률의 법칙으로 계산할 수 있습니다. 예를 들어, 우리가 고려하는 가설이 가설1과 가설2 뿐이라면, P(데이터) = P(데이터, 가설1) + P(데이터, 가설2) = P(데이터|가설1)×P(가설1) + P(데이터|가설2)×P(가설2)입니다.
정리하면 절차는 세 단계입니다. 각 가설에 대해 사전 확률과 데이터 지지도를 곱하고, 그 곱들을 모두 더해 P(데이터)를 구한 뒤, 각 곱을 이 합으로 나누면 사후 확률이 됩니다. P(데이터)는 결국 데이터 지지도의 가중평균이에요. 사전 확률이 가중치 역할을 하죠.
청취자의 학원 사례로 이를 구체적으로 살펴볼까요? 평소 잘 다니던 아이가 갑자기 "학원 가기 싫어"라고 했습니다. 엄마는 두 가지 가능성을 떠올립니다. 단순히 피곤해서일 확률을 70%, 학원에서 무슨 문제가 있을 확률을 30%로 봤어요. 평소에 잘 다녔으니 피곤할 가능성이 더 높다고 본 거죠.
그런데 아이가 조심스럽게 말을 이어갑니다. "엄마, 학원 선생님이 무서워..." 이 말은 중요한 증거입니다. 만약 아이가 단순히 피곤한 거라면, "선생님이 무서워"라고 말할 확률은 얼마나 될까요? 피곤하면 보통 "졸려", "힘들어" 같은 말을 하지, 선생님을 언급할 가능성은 낮겠죠. 기껏해야 10% 정도? 반면 학원에서 실제로 문제가 있었다면 이런 말이 나올 확률은 훨씬 높을 겁니다. 80% 정도는 될 거예요. 물론 이 수치는 엄마의 경험에 기반한 주관적 추정이에요. 이전 에피소드에서 했던 것처럼, 이 확률값들을 데이터 지지도 점수로 읽으면 각각 10점과 80점입니다.
이제 베이즈 정리를 적용해 봅시다. 각 가설에 대해 사전 확률과 데이터 지지도를 곱합니다. 단순 피로의 경우 사전 확률 70%에 데이터 지지도 10점을 곱하면 가중 점수 7점이 나오고, 학원 문제의 경우 30%에 80점을 곱하면 24점이 나옵니다. 가중 점수 7점과 24점을 더하면 총 31점이 됩니다. 이제 각 점수를 31로 나누면 갱신된 확률을 얻을 수 있어요. 단순 피로일 확률은 7/31로 약 23%, 학원 문제일 확률은 24/31로 약 77%가 됩니다.
아이의 한마디로 엄마의 판단이 완전히 바뀌었네요! 처음엔 단순 피로일 가능성을 더 높게 봤지만, "선생님이 무서워"라는 강력한 증거가 나타나자 학원 문제일 가능성이 훨씬 높아진 겁니다.
만약 증거가 여러 개라면 어떻게 해야 할까요? 예를 들어, 아이가 "선생님이 무서워"라고 말하고, 동시에 "친구들도 학원 가기 싫어해"라고 덧붙였다면? 각 가설 하에서 두 증거가 독립적이라면, 즉 하나가 다른 하나에 영향을 주지 않는다면, 각 증거의 데이터 지지도를 곱해서 사용할 수 있습니다.
두 확률을 곱해봅시다. 단순히 피곤한 아이가 "친구들도 싫어해"라고 말할 확률은 얼마나 될까요? 굳이 친구들 이야기를 꺼낼 가능성은 낮으니 5% 정도로 봅시다. 반면 학원에 문제가 있다면 친구들도 비슷하게 느낄 가능성이 높으니 90%로 보겠습니다. 이제 첫 번째 증거의 확률과 곱하면, 단순 피로인 경우 10% × 5% = 0.5%, 학원 문제인 경우 80% × 90% = 72%입니다. 이 결합 확률을 데이터 지지도 점수로 읽으면 각각 0.5점과 72점이 됩니다. 이제 사전 확률을 곱하면, 단순 피로는 70% × 0.5점 = 0.35점, 학원 문제는 30% × 72점 = 21.6점입니다. 총점 21.95로 나누면 단순 피로일 확률은 약 1.6%, 학원 문제일 확률은 약 98.4%가 됩니다. 두 증거를 같이 살펴보니 학원 문제일 가능성이 거의 확실해졌네요.
여기서 한 가지 궁금증이 생길 수 있습니다. 두 증거를 한꺼번에 처리하는 대신, 하나씩 순차적으로 처리하면 어떻게 될까요? 앞서 두 증거가 독립적이라는 가정 하에서 데이터 지지도를 곱했는데, 이 가정이 유지된다면 순차 처리와 한꺼번에 처리한 결과는 똑같습니다. 이 흥미로운 성질에 대해서는 Ep.12에서 자세히 다루겠습니다.
지금까지 학원 사례로 베이즈 정리의 기본 작동 방식을 살펴보았습니다. 이제 다른 상황들에도 적용해 볼까요?
Ep.5에서 다뤘던 소개팅 앱 사례를 베이즈 정리로 다시 살펴봅시다. 프로필에 '독서'라고 쓴 사람이 정말 책을 좋아할까요? 먼저 데이터 모델을 만들어봅시다. 책을 좋아하는 사람과 좋아하지 않는 사람이 프로필에 '독서'를 쓸 확률이 각각 어떻게 다를까요?
사전 확률은 어떤 사람이 책을 좋아할지에 대해 아무런 정보가 없는 상태이므로 50%, 50%로 설정합니다. 이제 그 사람의 프로필에 '독서'라고 쓰여 있는 것을 발견했습니다. 표에서 '독서'라고 씀 행을 가로로 읽으면 데이터 지지도는 80점과 60점입니다.
베이즈 정리를 적용하면, '책을 좋아함' 가설의 가중 점수는 50% × 80점 = 40점, '책을 좋아하지 않음' 가설의 가중 점수는 50% × 60점 = 30점입니다. 총 70점으로 나누면, 이 사람이 책을 좋아할 사후 확률은 40/70 = 약 57%가 됩니다. 프로필에 있는 '독서'라는 단서 하나로 그 사람이 책을 좋아할 거라는 믿음을 50%에서 57%로 바꿀 수 있는 거죠.
이번엔 의료 검사의 예를 살펴볼까요? 인구의 0.1%가 걸리는 희귀병이 있고, 이 병을 진단하는 검사가 있다고 가정해 보죠. 이 검사는 병에 걸린 사람의 99%를 양성으로 판정하고(민감도), 병에 걸리지 않은 사람의 95%를 음성으로 판정합니다(특이도). 특이도가 95%이므로 병에 걸리지 않은 사람이 양성으로 판정될 확률은 100% - 95% = 5%임을 알 수 있습니다. 즉, 두 가설(병에 걸림, 병에 걸리지 않음)에 대한 양성 판정의 데이터 지지도는 각각 99점과 5점입니다. 어떤 사람이 양성 판정을 받았다면, 실제로 그 사람이 병에 걸렸을 확률은 얼마일까요?
많은 사람들이 '99% 정확한 검사에서 양성이 나왔으니 병에 걸린 것이 거의 확실하다'라고 생각하지만, 베이즈 정리를 적용하면 예상을 뒤집는 결과가 나옵니다. '병에 걸림' 가설의 가중 점수는 0.1% × 99점 = 0.099점, '병에 걸리지 않음' 가설의 가중 점수는 99.9% × 5점 = 4.995점입니다. 따라서 검사 결과가 양성인데도 실제 병에 걸렸을 확률은 0.099/(0.099+4.995) = 약 1.9%에 불과합니다!
이것이 바로 희귀병의 역설입니다. 아무리 정확한 검사라도 매우 드문 질병의 경우, 거짓 양성이 진짜 양성보다 훨씬 많을 수 있습니다. 사전 확률의 중요성을 보여주는 극적인 예시죠.
약속 시간에 늦은 친구의 사례도 재미있습니다. 약속 시간이 다 되어가는데 친구가 아직 나타나지 않습니다. "미안, 길이 너무 막혀"라는 문자 메시지가 옵니다. 친구 SNS를 살펴보니 30분 전 올라온 "방금 일어남 ㅠㅠ"라는 글이 눈에 띕니다. 친구가 약속 시간에 늦은 이유가 무엇일까요?
교통체증, 늦잠, 약속을 깜빡함 등 여러 가설을 고려할 수 있지만, 편의상 교통체증과 늦잠만 살펴보겠습니다. 먼저 각 가설의 데이터 지지도를 구해봅시다. 단서는 두 가지입니다. 방금 전 "길 막혀" 문자를 보냈다는 것과 30분 전 "방금 일어남" 글을 올렸다는 것. 이 둘은 별개의 관찰이므로 각각의 확률을 따로 평가합니다. 실제로 교통체증 때문에 늦은 거라면 "길 막혀" 문자를 보낼 확률은 90%로 높지만, "방금 일어남" 글을 올릴 확률은 1%에 불과합니다. 늦잠이 사실이라면 거짓말로 "길 막혀" 문자를 보낼 확률은 20%, "방금 일어남" 글을 올릴 확률은 50%입니다. 두 관찰이 독립적이라면 결합 데이터 지지도는 각각의 곱입니다. 교통체증은 90% × 1% = 0.9%, 늦잠은 20% × 50% = 10%입니다. 따라서 두 가설의 데이터 지지도는 각각 0.9점과 10점이 됩니다.
이제 사전 확률을 도입합시다. 교통체증 60%, 늦잠 40%라고 하면, 가중 점수는 교통체증이 60% × 0.9점 = 0.54점, 늦잠이 40% × 10점 = 4점입니다. 가중 점수만 비교해도 지각의 원인이 늦잠일 가능성이 압도적으로 높다는 것을 알 수 있죠. 이처럼 정확한 확률값까지 필요하지 않다면 가중 점수를 그대로 비교하는 것만으로도 충분합니다.
지금까지 여러 사례를 통해 베이즈 정리를 적용해 보았습니다. 한 가지 꼭 기억할 점이 있습니다. 베이즈 정리는 우리가 처음에 세운 가설들 안에서만 작동합니다. 학원 사례에서 피로와 학원 문제만 고려했지만, 만약 진짜 이유가 '학교에서 왕따를 당해서 모든 게 싫어진 것'이라면 어떨까요? 이 가설을 처음부터 고려하지 않았다면, 아무리 많은 증거를 모아도 베이즈 정리는 올바른 답에 도달할 수 없습니다. 학원 문제 가설의 사후 확률이 98%까지 올라가더라도, 진짜 원인은 우리가 생각지도 못한 곳에 있을 수 있는 거죠. 도입부에서 홈즈가 단서를 바탕으로 가능성을 좁혀나간다고 했는데, 이 방법은 정답이 처음부터 후보 안에 있어야만 작동합니다. 베이즈 정리를 적용하기 전에, 가능한 가설을 빠짐없이 세우는 것이 무엇보다 중요합니다.
[♪ 차분한 음악]
이지은: 어떠셨나요? 베이즈 정리, 생각보다 우리 일상과 가깝죠?
우리는 매일 새로운 정보를 접하며 자연스럽게 생각을 바꾸고 있어요. 아침에 하늘을 보고 '비 올 것 같아'라고 생각했다가 일기예보를 보고 생각을 바꾸는 것처럼요. 하지만 얼마나 바꿔야 하는지는 잘 모르죠. 베이즈 정리는 바로 그 '얼마나'를 알려주는 도구예요. 이제 우리는 '내 초기 생각은 이랬는데, 이 증거를 보면 이만큼 바뀌어야 하는구나!'라고 체계적으로 판단할 수 있어요.
[띠링!]
오늘의 미션! 베이즈 정리를 직접 체험해 보세요.
궁금한 상황 하나를 정하고 가능한 원인 2-3가지를 생각하기
각각에 사전 확률 부여하기 (합 = 100%)
새로운 정보를 얻으면 어떻게 바뀔지 예상하기
실제로 정보를 얻은 후 확률 조정하기
예를 들어:
'왜 단골 카페가 오늘따라 이렇게 한산하지?' → 가설: 날씨가 좋아서 야외로(40%), 근처에 새 카페 오픈(35%), 시험 기간(25%)
밖을 보니 비가 내림 → 날씨 가설 급락!
건너편에 '신규 오픈' 현수막 발견 → 새 카페 가설 급상승!
다음 시간에는 이렇게 바뀐 믿음, 즉 '사후 확률'의 특성과 의미에 대해 더 깊이 알아볼게요. 특히 한 가설의 확률이 올라가면 다른 가설들은 어떻게 되는지, 그 흥미로운 관계를 살펴볼 거예요!
이번 주에 어떤 판단이 필요할 때, '내 초기 생각은 뭐였지? 이 증거를 보니 믿음을 얼마나 바꿔야 하지?'라고 한 번만 생각해 보세요. 그 한 번이 여러분의 추론을 바꿉니다. 저는 이지은이었습니다.
[♪ 밝은 음악]