갤럽은 어떻게 여론조사의 대명사가 되었을까

The Literary Digest 의 몰락과 갤럽의 등장

여론조사의 홍수다. 하루가 멀다 하고 여론조사 결과가 공표된다. 대통령 국정지지도, 후보 적합도, 정당 지지도 등 종류도 많다. 내 생각만 따지던 시대에서 이제는 남의 생각이 더 중요한 시대로 변모하고 있는 건 아닐까 하는 생각이 든다.

여론조사를 하는 이유는 간단하다. 모집단, 즉 정보를 얻고자 하는 대상, 의 숫자가 너무 많기 때문이다. 예를 들어, 전체 국민이 100명인 나라가 있다고 하자. 이럴 경우 굳이 표본을 추출하여 여론 조사를 할 필요가 없다. 직접 모집단 100명에게 의견을 물어보면 되기 때문이다.

하지만 세상에 그런 나라는 없다. 일반적인 경우 모집단이 어마어마하게 크다. 따라서 그들에게 일일이 의견을 물어보기에는 시간도 돈도 너무나 많이 든다. 결국 모집단이 아닌 적정 수의 표본 sample 을 뽑아 전체 의사를 예측하는 것이 가장 효율적인 선택이 된다.

이제 미국으로 가보자. 미국 선거여론조사의 역사는 그들의 민주주의 역사만큼이나 무척 오래되었다. 기록상으로는 1824년 대통령 선거가 그 시작이었다. 앤드류 잭슨 Andrew Jackson 과 존 애덤스 John Q. Adams 가 맞붙은 선거였는데, 노스캐롤라이나, 델라웨어 등 동부 연안 몇몇 주들을 중심으로 소규모로 실시되었다. 따라서 지역적 한계를 가지고 있었다.

그러던 1916년, 우드로 윌슨 Woodrow Wilson 과 에반스 휴즈 Evans Hughes 가 맞붙은 대통령 선거에서 드디어 처음으로 전국적인 선거여론조사가 실시되었다. 그리고 여기서 혜성처럼 한 주간지가 등장한다. 바로 The Literary Digest 다.

The Literary Digest 는 미국 역사상 처음으로 전 국민을 대상으로 대통령 선거여론조사를 실시하였다. 수백만 통의 설문조사 엽서를 사람들에게 보낸 후 회신된 답변을 카운팅하여 결과를 발표하였다. The Literary Digest 는 1916년 선거에서 우드로 윌슨이 대통령으로 당선될 것으로 예측하였고, 결과는 대성공이었다.

The Literary Digest 는 당시에 꽤 인기를 얻고 있었던 주간 신문이었다고 한다. 이 신문은 1890년에 이삭 펑크 Isaac K. Funk 라는 사람이 창간하였는데 1916년 선거여론조사 이후 더 큰 인기를 얻었다고 한다. 아마도 선거여론조사 결과예측 성공이 신문의 신뢰도를 높여주었기 때문으로 보인다. 실제로 1927년 주간지 발행부수가 100만 부를 넘었다고 하니 그 인기가 어마어마했을 것 같다.

The Literary Digest는 이후 4차례의 대통령 선거(1920 Warren Harding, 1924 Calvin Coolidge, 1928 Herbert Hoover, 1932 Franklin D. Roosevelt)에서 모두 당선자를 맞추는 신기를 보여주었다. 따라서 당대의 많은 사람들에게 선거여론조사는 곧 이 주간 신문을 생각할 정도였다고 한다. 그렇게 The Literary Digest 는 여론조사의 왕으로 근 20여 년을 군림하였다. 그리고 의기양양하게 1936년 선거를 맞이하게 된다.

1936년 대통령 선거는 민주당 소속의 현직 루즈벨트 Franklin D. Roosevelt 대통령과 공화당 소속의 랭던 Alfred Landon 이 맞붙은 선거였다. 지금 와서 생각해보면 FDR 로 불리며 미국인이 가장 존경하는 대통령 0순위로 꼽히는 루즈벨트가 압도적인 지지를 받고 있었을 것 같지만, 당시 선거 분위기는 그렇지 않았던 것으로 보인다. 따라서 사람들은 둘 중 누가 이길 것인가를 무척이나 궁금해했고, 당연히 The Literary Digest 가 그 답을 해줄 것으로 기대했다.

이러한 기대에 부응하듯 The Literary Digest 는 막대한 자금력을 동원하여 48개 주 1,000만 명을 대상으로 우편 여론조사를 실시하였다. 1,000명이 아니라 자그마치 10,000,000명이었다. 그들은 신문 구독자 리스트, 전화번호부, 그리고 자동차 등록부에 기초하여 1,000만 명의 표본을 추출하였고, 그들을 대상으로 설문지를 담은 우편을 발송하였다. 그리고 이에 약 227만 명이 설문을 작성하여 응답하였다. 그리고 선거를 3일 앞둔 1936년 10월 31일, The Literary Digest 는 본인들 신문 1면에 선거여론조사 결과를 공표하였다.

랭던 1,293,669 : 루즈벨트 972,897

The Literary Digest 는 57 : 43 으로 랭던의 승리를 예측하였다.

당시 The Literary Digest 신문 1면

그렇다면 결과는 어땠을까? 아시다시피 미국 역대 대통령 명단에 랭던은 없다. 다시 말해, The Literary Digest 는 결과 예측에 실패했다.

자신만만했던 The Literary Digest 의 선거여론조사 결과와 달리 랭던은 루즈벨트에게 완패를 당했다. 루즈벨트는 메인주와 버몬트주를 제외한 46개 주에서 모두 승리를 가져왔고 득표율은 62 : 38 로 압도적이었다. The Literary Digest 는 막대한 돈을 투자하여 무려 1000만 명을 대상으로 설문조사를 실시하고도 결과 예측에 완벽히 실패하고 말았다.

기대가 크면 실망도 큰 법이었다. 많은 사람들은 The Literary Digest 에 대한 믿음을 접기 시작했고 결국에는 전체 신문이 신뢰를 잃어 결국 2년도 채 지나지 않은 1938년 신문은 폐간하게 되었다.

그렇다면 왜 The Literary Digest 는 예측에 실패했을까. 무려 1,000만명을 조사했는데도 말이다. 가장 큰 이유는 잘못된 표본추출 방식 sampling 에 있었다. 쉽게 말해, The Literary Digest 는 나이, 성별, 지역, 인종, 소득 등 모집단의 인구통계학적 특성을 전혀 고려하지 않은 채 단순히 신문 구독자 리스트, 전화번호부, 그리고 자동차 등록부에서 1,000만 명의 표본을 추출한 것이다.

그런데 잘 생각해보자. 때는 1936년이다. 대공황 the great depression 의 여파가 진하게 남아있을 때이다. 실업이 빈번한 그 때 편안히 신문을 구독해서 볼 수 있는 여유 있는 사람이 얼마나 되었겠는가. 아울러 그 시절에 개인 전화와 개인 자동차를 소유하는 이는 또 얼마나 되었겠는가. 결국 표본에 들어갈 수 있는 사람들은 평균 시민들보다 훨씬 소득이 많은 사람들 뿐이었고 따라서 모집단을 대표하지 못하는 편향된 biased 표본추출로 인해 잘못된 결과를 얻고 말았던 것이다.

결과적으로, The Literary Digest 는 공화당을 지지할 가능성이 높은 부자들만을 대상으로 여론조사를 실시한 꼴이 되었고, 당연히 부자들이 주로 지지하는 공화당 후보인 랭던에게 유리한 결과를 얻을 수밖에 없었을 것이다. The Literary Digest 는 1936년 대통령 선거 예측 실패로 폐간되었다. 그렇다면 이후 선거여론조사는 종말을 맞았을까? 그랬다면 요즘 같은 때 선거여론조사 전화로 시달리지 않을 수도 있었겠지만, 우리가 여전히 하루 몇 통씩 걸려오는 여론조사전화를 받는 걸 보면 선거여론조사는 아직까지는 건재한 것 같다. 그렇다면 그 건재함을 이끌어낸 이는 누구였을까?

1936년 The Literary Digest 는 예측을 실패했지만, 같은 선거에 혜성같이 등장하여 루즈벨트의 당선을 예측한 이가 있었다. 그는 바로 죠지 갤럽 George Gallup 이었다.

바로 이 아저씨다

죠지 갤럽은 현재 여론조사의 대명사로 불리는 갤럽 Gallup 을 만든 장본인이다. 본인의 이름을 따 설립한 갤럽은 The Literary Digest 가 잘못 예측한 1936년 선거를 정확히 예측하면서 미국 내에서 큰 명성을 얻게 되었다. 사실 그는 The Literary Digest 가 뉴딜 정책으로 인해 루즈벨트 지지로 돌아선 저소득 유권자들을 표본에서 제외하고 있음을 미리 알고 있었다. 따라서 The Literary Digest 가 비참한 결론을 얻게 될 것임을 사전에 예견하고 있었다고 한다.

당시 갤럽은 겨우 5만 명을 대상으로 여론조사를 실시하였는데 루즈벨트가 56% 득표하여 승리할 것으로 예측하였다. 그리고 실제로 루즈벨트는 62%를 득표하여 승리하였다. 그러면서 선거여론조사의 제왕 자리는 The Literary Digest 에서 갤럽으로 이양되었다.

그렇다면 갤럽은 어떻게 적은 표본으로 결과를 정확하게 예측할 수 있었을까. 그에게는 할당표본추출 quota sampling 이라는 강력한 무기가 있었다. 즉, 설문대상을 인구구성비율에 맞도록 할당 quota 하여 표본을 추출한 것이다. 예를 들어, 전체 표본이 5만 명이라면, 2.5만 명은 남성, 2.5만 명은 여성에게 할당하는 방식이다. 추가로, 전체 남성 인구 중 60세 이상이 30%라면 7,500명은 60세 이상 남성에 할당하고 전체 남성 인구 중 20대가 20%라면 5,000명은 20대 남성에 할당하는 방식이다. 이렇게 나이, 성별, 지역, 인종, 소득 등을 세분화하여 할당한다면 전체 사회를 균형 있게 대표하는 표본을 얻을 수 있게 된다. 그리고 모집단에 대한 대표성은 자연스럽게 상승하게 된다.

갤럽은 이러한 과학적 표본추출을 통해 1936년 대통령 선거 결과를 성공적으로 예측할 수 있었다. 그리고 갤럽의 성공은 이후 여론조사 기술의 발전과 더불어 근대 과학적 여론조사 시대를 여는 출발점으로 자리 잡게 되었다.

---

그렇다면 갤럽의 과학적 여론조사 기법은 계속적으로 성공했을까. 갤럽은 1936년 대통령 선거 이후 말 그대로 승승장구했다. 정확한 예측으로 신뢰를 쌓아갔다. The Literary Digest 의 폐간으로 적수도 없었다. 미국 여론조사의 왕은 갤럽이었다. 따라서 1948년 트루먼 Harris S. Truman 과 듀이 Thomas E. Dewey 가 붙었던 대통령 선거에서도 사람들은 당연히 갤럽이 확실한 답을 해줄 것으로 기대했다.

당시 갤럽은 3,250명의 응답자를 할당표본추출 quota sampling 을 통해 선정해서 대면 인터뷰 in-person interview 를 진행하였다. 갤럽은 전문적인 인터뷰어를 고용하여 무응답으로 인한 오류를 최소화하는 등 정성을 다해 여론조사를 진행하였다. 그리고 수장인 죠지 갤럽이 직접 TV에 출현하여 선거여론조사를 발표하기까지 했다.

TV에 나와 대통령 선거 여론조사 결과를 발표하는 죠지 갤럽의 모습

갤럽은 공화당 후보인 듀이가 승리할 것으로 예측했다. 그들은 듀이가 50 : 44 로 트루먼을 이길 것으로 판단했다. 당시 시카고 트리뷴 The Chicago Daily Tribune 은 개표가 완료되기도 전에 “듀이가 트루먼을 이겼다 DEWEY DEFEATS TRUMAN” 라는 확정적 헤드라인이 담긴 초판을 인쇄하여 판매하기도 하였다.    

그렇다면 결과는 어땠을까. 모두 알다시피 세계 2차 대전을 승리로 이끌고 한국전쟁에 미군을 파병해 준 고마운 대통령의 이름은 듀이가 아닌 트루먼이었다. 갤럽은 틀렸다. 심지어 결과는 정반대였다. 50 : 45 로 트루먼의 승리였다. 라디오 코미디언 프레드 알렌 Fred Allen 은 "트루만이 갤럽에서 지고 실제로는 이긴 최초의 대통령"이라고 말하기도 했다.

마치 비웃듯이 시카고 트리뷴 신문을 들고 활짝 웃고 있는 트루먼 당선인

“듀이가 트루먼을 이겼다 DEWEY DEFEATS TRUMAN”라고 쓰인 시카고 트리뷴을 들고 활짝 웃고 있는 트루먼의 모습은 여전히 많은 미국인들에게 회자되는 장면이기도 하다. 사실 시카고 트리뷴은 2판에서 해당 헤드라인을 수정하였다. 하지만 트루먼은 초판을 가지고 있었기에 시카고 트리뷴에 한 방 먹일 수 있었다. 물론 이 장면은 시카고 트리뷴 기자들에게는 악몽 같은 장면이겠지만, 해당 카피는 150년 역사의 시카고 트리뷴 헤드라인 중 가장 유명한 것이 되고 말았다.

그렇다면 과학적 기법이라는 할당표본추출 quota sampling 을 사용한 갤럽은 왜 정반대의 결과를 얻게 되었을까. 나이, 성별, 지역, 인종, 소득 등을 할당하여 전체 사회를 균형 있게 대표하는 표본을 추출한다는 생각은 표면적으로 문제가 없어 보인다. 오히려 좋아 보인다. 하지만 깊숙이 들여다보면 두 가지 의문이 생긴다.

하나는 할당의 문제이다. 할당을 어떻게 할 것인가. 소득은 5,000불로 묶을 것인가 10,000불로 묶을 것인가. 나이대는 어떻게 할당할 것인가. 그렇게 정한 할당 기준이 전체 인구를 대표하는 결과를 가져올 것인가. 나이, 성별, 지역, 인종, 소득 외에 투표에 영향을 주는 다른 변수는 과연 없는가.

두 번째는, 선택의 문제이다. 갤럽은 할당된 그룹 안에서 인간이 직접 표본을 선택하는 방법을 택하였다. 따라서 무작위 표본추출 random sampling 이 아니라 인간의 선택이라는 인위적 개입이 존재하였다. 그리고 그것이 오류 bias 를 발생시킬 수 있는 토양이 되었다.

결론적으로 1948년 갤럽의 선거여론조사는 표본이 인간에 의해 확률적으로 추출되지 않았을 때 결과가 잘못될 수 있음을 보여준 중요 사례가 되었고, 이후 무작위표본추출 random sampling 이 업계표준으로 자리 잡는데 중요한 역할을 하였다.