독서 노트 : 수학은 알고 있다(3)
거인들은 조건부로 결정의 질을 높인다
수학은 알고 있다
김종성,이택호 저 | 더퀘스트 | 2024년 08월 01일
https://m.yes24.com/Goods/Detail/129147284
“수학은 알고 있다”에서 저자들은 수학이 우리 삶과 예측에서 얼마나 중요한 역할을 하는지를 다양한 예시로 설명합니다. 그들은 예측의 과정이 단순한 계산이 아니라, 인간의 사고와 인식에 깊이 뿌리박혀 있음을 강조합니다. 책을 통해 독작들은 수학은 단순한 수식이 아닌, 복잡한 문제를 풀어나가는 사고 도구임을 알 수 있습니다.
이 책은 우리가 데이터를 다룰 때 무작정 결과를 받아들이기보다는, 그 결과 뒤에 숨겨진 의미와 논리를 신중하게 검토해야 한다는 점을 일깨워 줍니다. 데이터와 통계에 기반한 올바른 판단을 내릴 수 있는 사고력을 기르고 싶은 독자들에게 일독을 권합니다.
* 책의 내용중에 인상 깊은 문장이나 문구를 그대로 옮겼(발췌)습니다.
** 분량이 많은 관계로 나누어 업로드하겠습니다.
4장 거인들은 조건부로 결정의 질을 높인다
베이즈 정리
사전확률에서 출발해 여러 정보를 살펴보고 사후확률을 얻는 것이 바로 베이즈정리Bayes’s theorm의 핵심입니다. 처음에는 부정확한 사전확률만 존재하지만, 새로운 정보가 있다면 계산을 통해 사전확률을 갱신해 더 신뢰할 만한 확률을 얻을 수 있습니다.
베이즈정리에서 확률은 정적인 값이 아니며 새로운 정보에 따라 언제든지 변할 수 있습니다. 예를 들어 연인이 있을 때 프로필 사진을 연인과 함께 찍은 사진으로 바꾸는지에 관한 설문조사 결과가 있다면 이 정보를 바탕으로 다시 확률을 갱신할 수 있죠.
주관적 확률에서 시작했지만 점차 객관적 확률로 나아가는 베이지안 접근 방식은 사람의 의사결정 과정과도 맞닿아 있습니다. 사람 역시 불확실한 정보를 토대로 판단을 하다가 새로운 정보가 주어지면 그 정보를 기반으로 새로운 의사결정을 내립니다. 그렇기에 베이즈정리는 AI를 이용한 의사결정 알고리즘의 기반으로 사용되며 매우 강력한 위력을 발휘합니다. 하지만 그 강력한 위력만큼 부작용도 커지고 있죠.
진단키트
완벽한 진단키트가 무엇인지 정의하려면 먼저 진단키트의 두 가지 요소를 이해해야 합니다. 여기서 다시 한 번 앞에서 이야기한 네 가지 경우를 이용해 진단키트의 두 가지 요소를 설명해보겠습니다.
첫 번째 요소는 민감도sensitivity입니다. 민감도는 실제로 감염된 사람을 진단키트가 양성으로 판정하는 확률입니다. 민감도가 100퍼센트인 진단키트가 존재한다면 감염된 사람 모두 회복될 때까지 사람들로부터 격리되어 병원에서 치료를 받을 수 있습니다(➊).
하지만 민감도가 100퍼센트보다 낮은 진단키트를 사용한다면 감염되었지만 진단키트에서 음성이 나와 일상으로 돌아가는 감염자가 발생합니다(➋). 감염자는 사람들 사이에 섞여 바이러스를 퍼뜨리는 전파자가 될 수도 있죠. 따라서 진단키트의 민감도가 낮다면 방역에 구멍이 생깁니다. 이런 오류를 위음성false negative 또는 제2종 오류type 2 error라고 부릅니다.
진단키트의 두 번째 요소는 특이도specificity입니다. 특이도는 감염되지 않은 사람을 진단키트가 음성으로 판정하는 확률입니다.
특이도가 높은 진단키트는 감염되지 않은 사람을 음성으로 잘 판정합니다(➍).
특이도가 낮다면 실제로 감염되지 않은 사람도 검사에서는 양성이 나오게 됩니다(➌). 이것은 불필요한 치료를 시행한다는 의미입니다. 이처럼 감염되지 않아도 검사에서 양성으로 판정되는 것을 위양성false positive 또는 제1종 오류type 1 error라 부릅니다.
이런 방식으로 민감도와 특이도는 검사 대상자를 다음과 같이 네 부류로 나누게 됩니다. 이를 재판에 적용하면 실제로 범죄를 저지르지 않았지만 유죄 판결을 받는 경우와 같습니다.
OTT 전쟁에서 승리하는 법
2020년은 넷플릭스Netflix와 디즈니 플러스Disney , 아마존 프라임Amazon Prime, 왓챠Watcha, 웨이브Wavve 등과 같은 OTTover the top의 춘추전국시대였습니다. 그리고 지금 이 글을 쓰고 있는 시점에서 넷플릭스는 이들을 압도해 가장 성공한 OTT 기업이 되었죠. 넷플릭스는 어떻게 치열한 경쟁을 뚫고 막대한 성공을 거두었을까요? 물론 스트리밍 서비스 시장의 선구자로서 훌륭한 콘텐츠를 생산하고 요금제를 개편하며 사용자 경험을 개선하기 위해 노력했기 때문이겠죠.
하지만 겉으로는 잘 드러나지 않는 넷플릭스의 성공 요인도 있습니다. 바로 사용자의 취향을 분석하는 데 넷플릭스가 전력을 다한다는 점입니다. 넷플릭스의 숨겨진 핵심 경쟁력은 바로 오랫동안 갈고 닦아온 추천 알고리즘 시스템입니다. 추천 알고리즘은 당신의 취향을 저격해서 오랫동안 넷플릭스에 머물게 합니다. 실제로 넷플릭스는 사용자가 특정 영상을 선택했을 때 그 영상을 좋아할 확률을 표시하고 사용자가 좋아할 만한 영상들을 목록으로 보여줍니다.
이러한 알고리즘은 온라인 쇼핑몰 플랫폼을 운영하는 아마존에서도 발견됩니다. 여러분의 검색 기록을 바탕으로 구미가 당길 만한 제품을 자동으로 추천하는 것은 그들의 아주 중요한 사업 모델이죠. 실제로 아마존 사이트에서는 특정 제품을 보면 관련된 제품이 하단에 나타납니다. 그리고 아마존이 운영하는 또 다른 사업이 아마존 프라임, 즉 넷플릭스와 동일한 비디오 스트리밍 서비스라는 점을 고려해본다면 기업이 큰 기회를 창출하는 데 추천 알고리즘이 얼마나 중요한 역할을 하는지 알 수 있습니다.
이처럼 추천 알고리즘은 기업의 수익과 직결되기 때문에 넷플릭스는 한때 영화 추천 알고리즘의 성능을 10퍼센트 향상시키는 팀에게100만 달러를 상금으로 주는 넷플릭스 프라이즈Netflix Prize를 열기도 했으며, 넷플릭스 리서치Netflix Research라 불리는 알고리즘 연구 부서를 별도로 운영하기도 했습니다.
넷플릭스는 단순히 콘텐츠를 만들고 유통하는 기업이 아니라 추천 알고리즘과 연계된 AI를 핵심 경쟁력으로 삼는 IT 기업인 것이죠.
넷플릭스와 아마존이 이렇게 중요하게 여기는 추천 알고리즘은 어떻게 작동하는 것일까요? 놀랍게도 이 알고리즘의 근간 중 하나는 바로 우리가 앞서 계속 이야기했던 베이즈정리입니다.
여러분은 방금 넷플릭스에 가입하고 프로필을 생성했습니다. 넷플릭스 서버는 당신이 무엇을 좋아하는지 아직 모릅니다. 이처럼 아무 정보도 없는 상태를 ‘콜드스타트cold start’라고 합니다. 그러니 넷플릭스는 여러분이 어떤 영화를 재밌게 볼 확률을 50퍼센트, 싫어할 확률도 50퍼센트라고 가정할 수도 있을 것입니다.
넷플릭스는 이 데이터를 근거로 한국영화를 추천할 때, 여러분이 그 영화를 좋아할 확률을 기존의 50퍼센트에서 75퍼센트로 갱신합니다. 이렇게 데이터를 통해 바뀐 새로운 확률인 75퍼센트를 사후확률이라고 부를 수 있습니다. 따라서 넷플릭스 서버는 여러분에게 한국영화를 더 많이 추천합니다. 이것이 베이즈정리를 활용한 추천 알고리즘의 원리입니다.
여기까지는 앞에서 이야기한 베이즈정리의 예시들과 크게 다르지 않습니다. 그러나 추천 알고리즘에 베이즈정리를 도입하는 진짜 이유는, 베이즈정리가 새로운 정보를 통해 끊임없이 확률을 수정할 수 있기 때문입니다.
따라서 넷플릭스는 이 두 가지 조건을 만족하는 영화가 있다면 분명히 그 영화를 추천할 것입니다. 이처럼 베이즈정리를 이용한 알고리즘은 정보를 계속 학습하면서 정확도를 개선해갈 수 있는 강력한 장점이 있습니다. 이것이야말로 추천 시스템이 반드시 가져야 하는 덕목이죠.
물론 넷플릭스는 단순히 하나의 알고리즘을 사용하지 않고, 많은 알고리즘을 블렌딩blending해 사용하는 것으로 알려져 있습니다. 원두를 섞어서 향을 다양하게 만들 듯, 여러 알고리즘을 블렌딩하면 더 나은 추천 시스템을 만들 수 있다는 것을 넷플릭스 프라이즈를 통해 알아냈기 때문입니다. 또한 영화를 더욱 섬세하게 분류하기 위해 영화에 전문적으로 태그tag를 다는 태거tagger를 고용하기도 했습니다.
이렇듯 여러 알고리즘과 다양한 보완법을 사용하긴 하지만, 베이즈정리가 꽤 중요한 역할을 한다는 사실은 부정할 수 없습니다. OTT 서비스 시장에는 수많은 업체가 뛰어들었습니다. 특히 디즈니 플러스는 막강한 콘텐츠 라인업을 자랑하며 넷플릭스를 위협하는 대항마로 여겨졌죠. 하지만 여러 스트리밍 업체가 시장에 진출했을 때 넷플릭스는 오히려 이런 스트리밍 전쟁이 자신들의 사업에 도움이 된다고 말했고 지금도 넷플릭스의 성벽은 꽤 견고해 보입니다. 이러한 자신감은 넷플릭스가 경쟁자들보다 훨씬 먼저 추천 알고리즘을 개발해 사용하고 AI에 관련된 핵심 인력을 보유하면서 수십 년간 시청자 데이터를 축적한 덕분입니다.
이런 관점에서 본다면 넷플릭스의 진정한 경쟁자는 디즈니 플러스가 아니라 오히려 추천 알고리즘의 전통 강자였던 아마존 프라임이라고 볼 수도 있겠습니다. 그리고 우리는 넷플릭스를 통해 한 가지 사실을 확실하게 배울 수 있습니다. 수학을 잘 활용하면 정말로 큰돈을 벌 수 있다는 것입니다.
추천 알고리즘의 역설
베이즈정리를 비롯한 여러 추천 알고리즘은 기업의 흥망성쇠를 결정하는 중대한 열쇠입니다. 또한 이 알고리즘이 소비자에게도 막대한 영향력을 끼친다는 사실에 모두가 동의할 수밖에 없을 것입니다. 이미 우리는 수많은 추천 서비스에 노출된 채 일상을 보내고 있습니다. 유튜브에서 한 주제의 영상을 보고 나면 그 이후부터 관련 주제를 다룬 영상이 쏟아져나오고 인스타그램의 스토리를 넘기다 보면 내가 관심 있어 했던 분야의 광고가 등장해 ‘더 알아보기’를 누르고 싶은 유혹에 빠져들죠. 심지어 누군가의 취향을 알고 싶다면 그 사람의 유튜브나 인스타그램의 메인화면을 보면 된다는 농담이 나올 정도로 추천 알고리즘은 생활 전반에 깊이 스며들어 있습니다.
그리고 그 이면에는 추천을 고도화하기 위해 사용자 정보를 광범위하게 수집하는 거대 IT 공룡들이 있습니다. 인류에게 편리함을 약속한다는 슬로건으로 그러한 활동들을 정당화하면서 말입니다. 하지만 편리함이 커질수록 위험은 배가되는 법입니다. 추천 알고리즘은 나의 취향을 분석해주는 보조적 도구 정도로 보이지만 언제부턴가 내 취향을 추천 알고리즘에 의탁하는 모습을 발견하기 때문입니다.
기존에 소비자는‘선택’할 수 있기 때문에 주도권을 가지고 있었지만, 지금은 추천 알고리즘을 통해 제품과 콘텐츠가 눈앞에 ‘먼저 등장’해 여러분의 마음을 온통 뒤흔들어 놓습니다. 이때 우리는 스스로 결정할 능동적인 권리를 포기하고 수동적 편리함을 추구하고 싶은 욕망에 사로잡힐지도 모릅니다.
심지어 알고리즘이 추천해준 제품을 구매하면서도, 내가 선택해서 구매한 것이라 착각할 수도 있죠. 이렇게 추천 알고리즘을 이용한 모든 서비스는 소비자의 의사 결정권을 매우 부드러운 방식으로 빼앗을 수 있습니다.
추천 알고리즘은 기존 소비자 행동의 패러다임을 완전히 바꿔버리는 매우 파괴적인 기술이고, 이를 마음대로 설계할 수 있는 IT기업은 막대한 힘을 거머쥐는 것이나 마찬가지입니다. 예를 들어 추천 목록에 특정 광고나 콘텐츠를 더 많이 노출하는 것도 가능합니다. 그러나 소비자는 자신의 특정한 취향으로 인해 어떤 콘텐츠나 광고를 보게 되었다고 생각할 수도 있겠죠. 특히 구글 서치와 같은 고전적 검색 엔진이 AI 챗봇으로 대체되는 현재의 추세를 고려하면, 미래에 추천 알고리즘은 더욱 큰 영향력을 갖게 될 것입니다.
GPT와 같은 챗봇에‘사람들이 가장 만족해하는 청소기를 추천해줘’와 같은 질문을 던졌을 때, 챗봇의 설계자는 특정 제품을 추천 상위 목록에 노출되도록 의도적으로 조작할 수 있습니다. 그리고 소비자는 이를 알지 못한 채 챗봇이 그저 자신의 질문에 관한 최적의 답을 찾아냈다고 생각할 것입니다.
법적 규제가 존재하지 않는 한, 기업이 특정 알고리즘을 자사의 이익이 되도록 설계하지 않을 이유는 없습니다. 이런 면에서 알고리즘을 설계하는 공학자는 상당히 높은 윤리의식을 가져야 하는 직업이 될 것입니다.
그렇다면 추천 알고리즘이 ‘윤리적’으로 설계된다면 아무런 문제가 없을까요? 최근 몇 년 사이 벌어진 일련의 사건과 논쟁을 보면 그렇지 않아 보입니다. 제기되는 다양한 혐의 중 하나는 추천 알고리즘이 사용자의 ‘확증 편향’을 강화할 수 있다는 의심입니다.
사회 각계각층이 갖고 있는 다양한 견해를 수렴하는 과정은 지난하고 고통스러운 일이지만 내 생각과 반대되는 의견을 듣고 차이를 인식하는 것이 민주사회로 나아가기 위한 첫걸음입니다. 그러나 추천 알고리즘은 본질적으로 사용자가 좋아할 콘텐츠를 기계적으로 선별해 나열할 따름입니다. 따라서 추천 알고리즘의 개인화가 여러 목소리를 원천적으로 차단하고, 나의 의견만을 강화하는 콘텐츠를 보여줘 정보의 양극화를 심화시키는 것이 아니냐는 우려가 점점 커지고 있죠.
추천 알고리즘에 지나치게 익숙해져 정보를 비판적으로 바라보는 능력을 쉽게 상실할 수 있는 현시대에는 이것이 우려가 아니라 현실이 될지도 모를 일입니다. 알고리즘의 무작위성을 강화하면 해결되는 게 아닌가 하는 생각이 들 수도 있겠지만 바람직한 무작위성의 정도가 얼마여야 하는지 결정하는 것 역시 쉽지 않습니다.
추천 알고리즘이 다양성을 떨어뜨리는 특성은 콘텐츠 영역에서도 두드러집니다. 유튜브, 인스타그램과 같은 콘텐츠 플랫폼은 유용한 콘텐츠를 제공하면서도 최대한 많은 사람을 오랜 시간 플랫폼에 체류하도록 해 광고에 노출시키기를 원합니다. 이 목적을 달성하기 위해 플랫폼 사업자는 각 개인이 좋아할 만한 콘텐츠를 선별하기도 하지만, 때로는 ‘가장 많은 사람이 시청한 콘텐츠’를 추천 목록에 포함하도록 설계할 수도 있습니다. 유튜브는 ‘크리에이터에게 알고리즘은 시청자에게 달려 있다’라고 공공연하게 말합니다.
많은 사람이 많은 시간을 들여 시청하는 영상을 더 많은 사람에게 노출한다는 것이죠. 이것은 틀린 이야기가 아닙니다. 그러나 소규모 영상 제작자, 블로거, 작가부터 영화감독에 이르는 콘텐츠의 생산자는 알고리즘의 최상단에 노출되는 것이 성공에 얼마나 중요한지 알고 있으므로, 자신의 콘텐츠를 추천 알고리즘에 유리한 방식으로 제작해야 한다는 압박을 받을 수밖에 없습니다.
이런 환경에서는 독창적인 콘텐츠가 만들어지는 것이 아니라, 이전에 성공했던 포맷을 복제한 콘텐츠가 양산되는 현상이 일어나게 됩니다. 과연 우리의 취향을 충족시켜줄 독창적이고 다양한 콘텐츠들이 계속해서 만들어질 수 있을지 지켜봐야 할 일입니다. 지금까지의 이야기를 통해 추천 알고리즘의 원리를 알아야 하는 주체에 IT 기업에 종사하는 개발자뿐 아니라 우리와 같은 평범한 사람들도 포함되어야 한다는 데 동의해주시면 좋겠습니다.
추천 알고리즘과 같은 강력한 기술이 올바른 방향으로 나아가도록 하려면 소수의 사람이 결정권을 휘두르는 것이 아니라, 시민사회 전체가 이 기술의 작동 방식을 이해해야만 목소리를 보탤 수 있기 때문입니다.
빈도주의 대 베이즈주의
: 수학이 불확실성을 다루는 방법
수학은 이런 불확실성을 확률이라는 언어로 다룹니다. 유통기한이 지난 케첩이 상하지 않았을 확률을 0.6이라 추정하거나 오후에 비가 갤 확률을 0.75로 판단하는 식이죠. 이러한 확률을 바라보는 수학적 관점은 크게 두 갈래로 나뉩니다. 하나는 앞에서 살펴본 베이즈정리와 관련된 ‘베이즈주의bayesianism’고 다른 하나는 ‘빈도주의frequentism’입니다.
과거에는 빈도주의적 관점이 주류였지만 시간이 지남에 따라 계산 기법이 발전하면서 베이즈주의가 점차 주목받고 있습니다. 지금부터 두 관점에 어떠한 차이가 있는지 가볍게 살펴보겠습니다.
두 친구가 살짝 구부러진 동전을 보고 설전을 벌이는 상황을 가정해보겠습니다. 한 친구는 “이 동전을 던졌을 때 앞면이 나올 확률은 0.5야”라고 말했지만, 동전이 약간 구부러진 것을 알아챈 다른 친구는 “앞면이 나올 확률은 0.55 정도 될거야”라고 말했죠. 먼저 이 사건을 빈도주의적 관점으로 바라보겠습니다.
빈도주의적 관점은 그 자체의 표현에서도 드러나듯이 ‘빈도’가 확률 계산의 핵심 역할을 합니다. 따라서 빈도주의는 무정합니다. 그저 이 동전을 계속 던져 앞면이 나오는 횟수를 셀 뿐이죠. 만약 100번 던져 앞면이 65번 나왔다면 그 시점에서 앞면이 나올 확률은 0.65가 됩니다. 여기서 그치지 않고 900번을 더 던져 총 1,000번 중 앞면이 550번 나왔다면 확률은0.55로 수정됩니다. 이런 식으로 같은 조건에서 동전을 반복해 던졌을 때 나오는 앞면의 횟수를 총 던진 횟수로 나눈 값이 빈도주의자가 말하는 앞면이 나올 확률입니다. 빈도주의자는 동전의 앞면이 나올 확률은 ‘이미’ 정해져 있고, 동전을 계속 던질수록 그 숫자에 가까워진다고 생각합니다.
반면 베이즈주의적 관점은 주관적인 생각이 매우 중요한 역할을 합니다. 베이즈주의적 관점에서 확률이란 그 사건이 일어날 것이라 믿는 정도, 다시 말해 신뢰도degree of belief이기 때문입니다. 따라서 베이즈주의 신봉자에게 구부러진 동전에 불확실성이 있는 이유를 물어본다면 아직 그 동전을 잘 모르기 때문이라고 답할 것입니다. 앞선 설전에서 두 친구는 동전에 관해 각자 갖고 있는 나름의 믿음으로 앞면이 나올 확률을 각각 0.5, 0.55라 생각했습니다. 이 믿음은 베이즈정리의 사전확률에 반영되며 새로운 정보가 주어지면 사후확률로 갱신되겠죠.
여기서는 이해를 돕기 위해 확률 p를 0.5와 0.55, 두 가지로 두었지만 확률 p가 가질 수 있는 값은 무수히 많습니다. 다양한 수를 두고 경쟁하는 확률 p들 중 베이즈정리에 따라 사후확률이 높은 확률 p를 더 신뢰하게 되는 것이죠. 동전을 여러 번 던지면 각 확률 p의 사후확률은 지속적으로 갱신되고 나중에는 사후확률이 가장 높은 특정 확률 p가 드러납니다.
하지만 여전히 p가 동전의 앞면이 나올 확률이라고 100퍼센트 단정할 수는 없습니다. 그저 해당 확률 p에 대한 믿음이 매우 높은 상태일 뿐이죠.
빈도주의적 관점은 동전의 앞면이 나올 p가 특정 값으로 고정되어 있어 반복 시행을 통해 p에 가까워지는 것이라면, 베이즈주의적 관점은 수없이 많은 확률 p 중에서 가장 신뢰도가 높은 p를 택하는 것이라 할 수 있습니다.
베이즈주의적 관점은 처음 들었을 때 약간 생소할 수도 있습니다. 하지만 우리가 불확실성을 가늠하는 과정과 베이즈주의적 관점은 상당히 비슷합니다. 반복해서 일어나는 사건에 관해서는 빈도주의만큼 완벽한 확률 계산법도 없지만, 일상에서는 빈도주의적 관점에 필수적인 ‘같은 조건의 수많은 반복’이 불가능한 경우가 대부분이기 때문이죠.
어설픈 빈도주의자는 아침에 비가 내린 100일 중 오후에 비가 그친 날이 30일이었다고 말하며 확률을 계산하려 하겠지만, 사실 비가 내린 날 습도, 온도, 바람, 계절 등의 조건은 매일 달랐을 것입니다. 베이즈주의자는 이 문제를 인정하고 새롭게 주어지는 정보를 파악해 그 전에 갖고 있던 믿음의 정도를 조금씩 갱신합니다.
나이브 베이즈
: 조건이 여러 개일 때의 사후확률
앞서 두 가지 조건이 하나씩 순차적으로 적용되는 과정을 영화 추천 알고리즘에서 살펴본 바 있습니다. 본문에서 따로 언급하지 않았지만 하나의 조건이 아닌 여러 조건을 고려해 사후확률을 갱신하는 방법을 ‘나이브 베이즈Naïve Bayes’라고 부릅니다. 이때 여러 사건이 서로 관련이 없다고 가정하는 것이 중요합니다. 한국영화인지 여부와 봉준호 감독 작품인지 여부가 연관되어 있지 않다고 순진하게 가정한 것처럼 말이죠. 이를 조건의 ‘독립성’을 가정한다고 합니다.
왜 나이브 베이즈는 사건들이 서로 관련이 없다고 순진하게 전제해야 할까요? 나이브 베이즈에는 여러 조건이 함께 일어날 확률을 계산하는 과정이 포함되어 있습니다. 이때 조건의 독립성을 가정하면 여러 사건이 동시에 일어날 확률을 각 사건의 확률을 곱해서 간단히 구할 수 있습니다.
예를 들어 동전의 앞면이 나올 확률이 1/2이고 주사위 눈이 2가 나올 확률이 1/6이라면, 동전의 앞면과 주사위의 2가 동시에 나올 확률은 1/12로 계산됩니다. 이는 동전을 던지는 것과 주사위를 던지는 것이 서로 관련성이 없다는 것, 다시 말해 서로 독립적이라는 것을 반영한 결과죠. 만약 여러 사건이 서로 관련되어 있다면 이 사건들이 동시에 일어날 확률을 계산하는 것은 매우 복잡한 일이 됩니다.
