by
May 11. 2024
여론조사의 함정
빅데이터 속 세상
여론조사, 믿을까 말까?
2016년 영국이 유럽연합(EU)에 잔류할지 탈퇴할지를 놓고 브렉시트(Brexit) 투표가 실시되었다. 한쪽은 "유럽 속에 더 강한 영국을" 주장하며 잔류를 주장했고, 또 다른 쪽은 "탈퇴에 투표를" 외치며, 정당들도 어지럽게 편이 나뉘었다. 많은 유력 여론조사들에서 잔류가 탈퇴보다 우세했지만, 투표결과는 반대였다. 총 72.2% 투표율에 탈퇴찬성 51.9%, 탈퇴반대 48.1%로 나타났다. 설마하던 영국의 EU 탈퇴결정에 온 세계는 큰 충격에 빠졌다. 브렉시트가 현실화되고 있는 지금, 영국인들은 해저 채털터널 (Channel Tunnel)을 지나 육로로 프랑스를 거쳐 EU로 들어가는 길목에서 줄서서 입국 심사를 받아야하는 고통을 마주하고 있다.
여론조사는 19세기 미국 대통령 모의투표에서 시작됐다고 알려져 있으며, 먼저 시작된 만큼 역사에 길이 남을 오류 사건도 미국에서 먼저 터졌다. 1936년 민주당 후보였던 루즈벨트 대통령과 공화당 후보였던 랜던이 맞붙었던 선거 때, 대중잡지 리터러리 다이제스트가 무려 천만 명을 대상으로 우편 설문조사를 실시해서 240만명의 응답을 받았고 (남선혜, 2012), 이를 근거로 공화당 랜던의 당선을 예측했다. 하지만, 결과는 잘 알려진 대로 루즈벨트 대통령이 62%의 압도적인 찬성으로 재선에 성공했고, 1, 2선 재임기간 동안 루즈벨트 대통령은 성공적으로 대공황을 극복하며 3, 4선에 연달아 성공했으며, 2차 세계대전을 연합군의 승리로 이끌어서 이후 미국이 세계의 패권을 장악하는 데 크게 기여했다.
그때나 지금이나 엄청난 규모인 240만명이나 되는 사람들로부터 응답을 받아낸 리터러리 다이제스트의 예측이 완전히 빗나가면서, 자료분석가들은 큰 충격에 휩싸였다. 모두들 호기심에 원인을 들여다보니까, 리터러리 다이제스트가 주로 '정기구독자, 전화번호부, 자동차 등록명부, 사교클럽 인명부 (남선혜, 2012)'에서 사람들을 임의로 뽑아서 조사를 진행하는 바람에, 그 큰 표본이 편향됐던 거였다! 그러니까, 그 당시 이 잡지 구독자나 전화 자동차 소유자 또는 사교클럽 가입자들은 주로 공화당을 지지하는 중산층 이상이었기 때문에, 이 잡지사의 표본에서 민주당 지지자들일 가능성이 높던 저소득층이 대거 빠지면서, 공화당에 유리한 조사결과가 나왔다.
리터러리 다이제스트의 대실패와 달리, 갤럽의 놀라운 반전도 있었다. 당시 갤럽은 겨우 1,500명을 대상으로 실시한 면접조사 결과를 근거로 루즈벨트 대통령의 재선을 정확하게 예측했다. 1952년 이래로 미국 여론조사기관의 표본이 만 명을 넘지 않아서(남선혜, 2012) 작은 크기의 여론조사 데이터가 지금은 특별하게 느껴지지 않을 수 있지만, 당시 리터러리 다이제스트의 240만명 응답에 비하면 갤럽의 데이터 크기는 새발의 피였다. 데이터는 작았지만, 갤럽은 편향되지 않도록 골고루 응답자를 뽑았고, 면접을 이용해서 응답자들의 진짜 지지 후보를 알아내며, 숨은 승리자가 됐다.
루즈벨트 대통령 서거 후 치러진 1948년 보궐선거에서 또 한번 여론조사가 크게 망했다. 갤럽과 크로슬리의 여론조사가 모두 듀이의 승리를 예상했고, 심지어 이를 확신했던 시카고 트리뷴이 선거 전 날 밤에 선거 당일 헤드라인으로 "DEWEY DEFEATS TRUMAN"를 미리 인쇄해두었지만, 부통령으로서 대통령직을 승계했던 트루먼이 재선에 성공했다. 이 신문을 들고 활짝 웃는 트루먼의 사진은 미국 정치 여론조사의 뼈아픈 실패의 상징으로 기억된다. 이때 여론조사 기관들은 지역, 인종, 나이, 경제적 능력 등 다양한 인구통계를 근거로 표본을 잘 뽑았지만, 면접자가 조건에 맞는 최종 응답자를 임의로 선정하는 바람에 예측이 빗나갔다. 이후 모든 여론조사에서 응답자는 랜덤하게 선택된다.
전체와 표본은 거울과 같다. 전체가 있으면 표본이 있고, 표본이 있다는 건 전체 모집단이 있다는 뜻이다. 돈도 없고 시간도 없어서 전체를 다 보기 어렵기 때문에, 작은 표본을 뽑아서 살펴보고, 전체가 이렇겠구나 짐작한다. 리터러리 다이제스트의 실패와 갤럽 성공의 극명한 대비는 이후 사람들에게 모든 표본은 편향될 수 있으며, 편향되지 않은 표본 추출이 전체를 정확하게 파악하는 데 얼마나 중요한지를 일깨워줬다. 요즘 같이 모든 사람의 디지털 흔적이 실시간으로 축적되는 빅데이터 시대에도, 디지털 기기나 신용카드를 사용하지 않는 사람들이 꽤 존재하고 가짜 흔적을 남기는 사람들도 있기 때문에, 빅데이터도 여전히 편향될 수 있다.
편향되지 않는 좋은 표본을 뽑아서 응답자들의 진짜 속마음을 듣는다 해도, 여전히 여론조사에는 오류가 발생할 수 있는 구조적인 함정이 숨어있다. 자주 사용되는 95% 신뢰구간의 의미는 100번 중에 95번은 제대로 맞추고 5번 정도는 틀린다는 뜻이다. 똑같은 여론조사를 100번 반복해서 100개의 95% 신뢰구간을 만들 때, 그중에서 약 95개는 진짜 지지율을 포함하고, 나머지 5개는 진짜 지지율을 포함하지 못한다. 굳이 비유하자면, 망망대해에서 물고기 한 마리를 잡으려고 같은 그물을 100번 던질 때, 5번 정도 그물 안에 물고기가 없다는 뜻이다.
그렇다면, 우리가 보는 신뢰구간은 저 100 개 중 어느 것이며, 그 안에는 진짜 참값이 있을까? 누가 알까?
그림. 세로선은 100개의 표본으로 만든 100개의 95% 신뢰구간이고 가로선은 참값이다. 95개는 참값을 포함하고, 주황색 5개는 참값을 포함하지 못한다.