직관의 오류: 하버드대 의사의 80%가 틀린 문제
When Your Intuition Misfires
각 학문 분야마다 '유명한 문제(problem)'이 있습니다. 예를 들자면 심리학의 Trolley problem 같이 개론 수준의 수업을 들을 때 처음으로 나오는 것들 말이죠. 오늘 다룰 문제는 아마 예방의학 분야에서는 가장 잘 알려진 문제 중 하나이지 않을까 싶습니다.
1977년 Harvard School of Public Health의 W. Casscells 외 2명은 NEJM에 '의사들의 임상검사 결과 해석'이라는 제목의 논문을 발표합니다[1]. 이 논문에서 그들은 하버드대학교의 의대생 20명, 인턴, 레지던트, 펠로우 20명, 주치의 20명에게 다음의 질문을 던졌습니다.
“If a test to detect a disease whose prevalence is 1/1000 has a false positive rate of 5%, what is the chance that a person found to have a positive result actually has the disease, assuming you know nothing about the person's symptoms or signs?”
"어떤 질병을 진단하는 도구가 있다. 이 질병의 유병률은 1/1000이고 위양성률은 5%이다. 만약 어떤 사람이 이 검사에서 양성 판정을 받았을 때 실제로 질병을 가진 사람일 확률은 얼마인가? (단, 그 사람의 증후나 증상에 관해서는 아무 것도 모른다고 가정한다)"
일견 간단해 보이는 문제지만, 이 문제 보통이 아닙니다. 하버드 의대생, 수련의, 전공의, 주치의까지 60명이 이 문제를 풀었는데, 정답을 맞춘 사람은 11명(18.3%)에 불과했거든요. 먼저 한번 풀어보시고 계속 읽으시길 권합니다.
정답과 해설 - SPOILER ALERT 조건부확률에서 나오는 베이즈 정리(Bayes' theorem)을 활용해 양성예측치(Positive Predictive Value)를 계산하는 문제입니다. 아래의 풀이는 정신건강의학과 전문의 박한선 씨가 동아사이언스에 기고한 글에서 발췌했습니다[2].
수식으로 보니 어려운데, 이 문제를 처음 소개한 NEJM 논문에서는 보다 평이한 어투의 풀이를 제시했습니다.
"환자 1000명을 모아 검사하면, 실제 병을 가지고 있는 사람은 단 한 명이죠(유병율 1/1000). 그러나 검사에서 양성으로 나온 사람은 약 오십 명입니다(위양성률 5%). 50명 중 1명이므로, 검사에서 양성으로 나와도 실제 병이 있을 가능성은 고작 2%에 지나지 않습니다."
어떤가요? 정답을 맞히셨나요?
이 문제를 푼 하버드대학교의 의사 60명은 어땠을까요?
- 앞서 언급한 것처럼 60명 중에서 정답을 맞힌 사람은 11명(18.3%)에 불과했습니다. 이들 중 4명은 (한국으로 치자면) 졸업반인 본과4학년이었고, 3명은 내과 레지던트, 4명은 그보다 더 높은 주치의였습니다. 연차별로 큰 차이는 나지 않는 셈입니다.
- 가장 많이 나온 답은 '95%'로, 오답자의 과반수(27명)이 이렇게 응답했습니다.
까다로운 문제인 건 알겠는데 95%라는, 정답과는 너무 거리가 먼 대답을 전체 응답자의 절반 가량이 말했다는 게 놀랍습니다. 왜 이런 일이 일어났을까요? 그건 잠시 후에 살펴보기로 합시다.
Revisited: 하버드대학교의 의사들도 틀리는 문제?
한편 이 유명한 실험을 그대로 재현한 연구가 있습니다. A. Manrai 등이 2014년에 JAMA Internal Medicine에 게재한 연구가 그것입니다[3]. 아까 NEJM 연구가 하버드대학교와 그 협력병원에서 이루어진 것과 다르게 이 연구에서는 하버드대학교와 보스턴대학교 및 그 협력병원의 구성원을 대상으로 했습니다. 이전 연구와 비슷하게 참가자는 총 61명(의대생 10명, 인턴 12명, 레지던트 8명, 펠로우 6명, 주치의 24명, 은퇴한 의사 1명)이었습니다.
- 토씨 하나 안 틀리고 같은 질문을 준 이 연구, 참가자들의 정답률도 1978년의 그것과 크게 다르지 않았습니다. 61명 중 정답을 맞춘 사람은 14명(23%)이었습니다.
- 이번에도 가장 인기가 많은 응답은 "95%"였습니다. 총 27명이 이 답을 말했어요.
- 물론 1978년처럼 이번에도 0.005%부터 96%까지 다양하고 창의적인 대답이 나왔습니다. (나름대로 계산을 하긴 한 모양입니다)
- 한편, 이번에도 연차별로 정답률에 큰 차이가 있지는 않았습니다. 1978년 당시 논문에서도 "갈수록 검사가 늘어나면서 수치의 해석과 관련된 역량이 중요해질 텐데 이래서는 큰일이다! 단순히 의대에서 통계를 가르치는 것을 넘어서 수련 과정에도 실전적인 교육을 도입해야 한다."는 식으로 결론을 내렸습니다.
왜 그들은 95%라고 대답했을까?
이 연구의 Discussion에 따르면, 95%라는 오답을 말한 사람들은 양성예측률을 계산할 줄은 알지만, 유병률(Prevalence)와의 관계에 대해서 오개념을 가지고 있었던 것으로 보입니다. 아래 오답자의 이불킥스러운 후기(?)에서 이를 짐작할 수 있습니다. 당연히 둘 다 틀린 진술이며, 아래의 contingency table을 보시면 그 이유를 금방 알 수 있습니다.
"95%"라고 응답한 심장전문의: "양성예측률은 유병률과는 관계가 없어요."
"95%"라고 응답한 레지던트: "양성예측률이 높으면 유병률이 낮아요."
Source: BMC Genomics한편 Science에 실린 다른 논문에서도 이 연구를 다루고 있는데 "결론은 의학교육을 잘 해야 한다" 쪽으로 가져간다는 점에서 앞의 두 논문과 유사합니다[4].
그런데 이 연구에 관심을 가진 건 의학 전공자뿐만이 아니었습니다. 인지과학 쪽에서도 이 예시가 많이 언급됩니다. 그들의 논지는 "95%"라는 오답을 적어내는 것은 기저율(base rate, 여기서는 유병률이 1/1000이라는 사전 정보)를 무시하는 경향으로 설명된다는 점이죠.
위의 contingency table에 맞춰서 실제로 계산을 해보면 절대 95%처럼 큰 숫자가 나올 수 없기 때문에, 처음에 가장 많이 나온 답변이 "95%"라는 것을 들었을 때는 의아했습니다. 그런데 지금 와서 생각해보니 그 사람들은...
"검사의 위양성률이 5%면, 검사 받았을 때 진짜 양성일 확률은 95%겠네! 정답 95%ㅎㅎ"
라는 생각에서 그런 답을 썼던 겁니다. 인지과학자들도 이 충격적인 단순함에 놀랐는지, 인간의 직관이 가져올 수 있는 오류를 다루는 글에서 이 사례를 많이 인용하고 있습니다. 이렇듯, 과학은 항상 직관의 세계에 머물러있는 것는 것만은 아닙니다.
References
1. Casscells, W., Schoenberger, A., & Graboys, T. B. (1978). Interpretation by Physicians of Clinical Laboratory Results. New England Journal of Medicine, 299(18), 999-1001. Retrieved from https://www.nejm.org/doi/full/10.1056/NEJM197811022991808. doi:10.1056/nejm197811022991808
2. 박한선. (2018). [내 마음은 왜 이럴까?] 하버드 의대생도 틀리는 문제?. Retrieved from http://dongascience.donga.com/news.php?idx=21016
3. Manrai, A. K., Bhatia, G., Strymish, J., Kohane, I. S., & Jain, S. H. (2014). Medicine’s Uncomfortable Relationship With Math: Calculating Positive Predictive Value. JAMA Internal Medicine, 174(6), 991-993. Retrieved from https://doi.org/10.1001/jamainternmed.2014.1059. doi:10.1001/jamainternmed.2014.1059
4. Hoffrage, U., Lindsey, S., Hertwig, R., & Gigerenzer, G. (2000). Communicating Statistical Information. Science, 290(5500), 2261-2262. doi:10.1126/science.290.5500.2261
5. Westbury C. F. (2010). Bayes' rule for clinicians: an introduction. Frontiers in Psychology, 1, 192. doi:10.3389/fpsyg.2010.00192
