여론조사는 믿을 수 있나?
MBC 여론조사를 조사하다 '여론M'
한국 언론의 정치 사랑은 유별나다. 평소에도 정치 뉴스의 비중이 높지만 선거철이 다가오면 정치 관련 보도량은 폭발적으로 증가한다. 특히 선거철에는 여론을 주도할 수 있는 이슈를 정치권이 결정하고 이를 집중적으로 공론화시킨다. 정치후견주의를 표방하고 있는 국내 언론은 스스로 공정의 기준을 세우고 언론사 스스로가 선택한 정치권에 유리한 논조를 집중적으로 보도한다. 파울러(2007)는 “뉴스는 사회적 현실을 재구성하는 작업의 산물로 그 자체가 이미 편향성을 전제로 한다.”라고 했다. 또 신문윤리실천강령 9조에서는 “실정법을 위반하지 않는 한 특정 정당 또는 특정후보자에 대한 지지 또는 반대를 표명하는 등 언론사의 정치적 입장을 자유로이 표현할 수 있다.”라고 밝히고 있다. 즉 상당한 정치적 경도를 보이는 매체가 중립적이라고 수용자들이 충분히 오해할 수 있다는 것이다. 이를 의식한 듯 국내 언론사들은 가장 객관적인 지표를 표방하는 여론조사 결과 발표를 통해 언론사의 공정성을 주장한다. 그러나 여론조사기관에 따른 편향이 존재함을 그 누구도 밝히지 않기 때문에 수용자들은 언론사들이 발표하는 여론조사는 모두 공정할 것이라고 착각을 하게 되는 것이다. 이는 여론조사 기관에 따라 여론조사 결과의 차이가 상당함에서 알 수 있다. 박종희(2018) 18대 대선 여론조사에 참여한 총 22개의 여론조사 기관 중에 중앙일보와 엠비존이 극단적인 조사기관의 고정값, 즉 편향을 가지고 있음을 확인했다.
이런 여론조사기관에 따른 결과의 차이는 수용자들에게 정치적 선택이라는 중대한 결정에 있어 상당한 혼란을 야기시킨다. 이를 극복하기 위한 한 방편으로 여론조사를 조사를 전체 여론의 추세를 밝히는 시도를 한 곳이 있다. 바로 MBC의 ‘여론조사를 조사하다. 여론 M’이다.
2022년 6월1일 지방선거 전 경기도지사 후보별 여론조사 추이 그래프_여론M 화면갈무리<데이터 수집 방법>
‘MBC 여론조사를 조사하다’ 여론 M은 들쭉날쭉한 여론조사 결과를 종합한다. 조사기관의 성향, 여론의 추세를 분석해 여론의 종합적인 판세를 보여준다. 미국, 호주, 영국에서는 이미 다양하게 발표되는 여론을 종합하는 방법을 사용하고 있다. ‘여론M’은 중앙선거여론 조사심의위원회(이하 여심위) 홈페이지에 등록되는 여론조사 데이터를 1차적으로 수집한다. 이번 2022년 21대 대선에서는 약 1년 동안 약 1000개의 여론조사 결과 데이터를 모두 모아 분석했다. 예를 들어 월요일마다 발표되는 리얼미터에서, 금요일은 갤럽에서 여론조사가 발표되는데 이렇게 정기적으로 발표되는 데이터와 여심위에 비등록된 정기조사를 모두 수집하고 이를 토대로 분석 결과를 발표한다. 수집된 데이터는 아직까진 요청 시에만 접근가능하다.
단, 여심위에 등록된 데이터 중 일부가 다운로드가 불가능한 이미지 파일로 등록되어 있어 크롤링과 같은 자동화 된 기법을 사용하기에는 시간과 비용의 비효율성으로 직접 엑셀파일에 수기로 작성한다.
여론조사 M은 2017년 05월 이후 여론조사심의위회에 등록된 모든 여론조사와 비등록 정기조사(52개 업체)를 포함해 2021년 10월 25일 기준 ‘대통령 국정수행평가’ 1,301개, ‘정당 지지도’ 1,177개, ‘대선주자 선호도’ 463개 이상의 여론조사를 수집했다.
<데이터 분석방법>
‘여론M’의 종합적인 분석인 학계와의 협업을 통해 이루어진다. 언론사의 순발력과 학계의 정확성이 만나 보다 시의 적절하고 정확한 결과값을 얻기 위해서다. 자료의 수집은 언론사가 수집된 자료의 분석은 학계가 담당했다. 수집된 자료는 여론의 추세를 종합하기 위해 기존의 통계학적 방법과는 다른 베이지안 통계기법을 사용했는데 서울대학교 정치외교학부 박종희 교수팀이 담당했다.
베이지안 통계는 기존 빈도주의가 가지는 통계적 오류의 한계를 보완할 수 있는 통계학 기법으로 비표본 자료를 더하고 시간과 공간적 정보를 더해 추세를 관찰한다.(박종희 2016), 즉 여론조사기관이 가지는 다양한 방법론에 대한 노이즈를 필터링하고 개별 조사기관의 개별 조사값 보다는 추세를 관찰하는 방식이다. 또 여론조사결과에서 가장 큰 차이를 야기하는 것은 ARS인지 전화면접인지와 같은 조사방법에 따름을 반영하여 추세를 결정한다. 여론조사의 방법론적 모형은 다음과 같다. 예를들어 후보 A의 지지도에 대한 조사기관 i가 의뢰기관 j로부터 요청받아 t시점 k방법으로 조사한 여론조사 결과[Yijkt]는 아래의 6가지 효과를 모두 더하고 이에 따른 노이즈값을 제거한다.
- i 의 조사기관효과 +
- j 의 의뢰기관효과 +
- 조사기관 i 와 의뢰기관 j의 상호작용 효과 +
- i 가 선택한 조사방법 효과 +
- j 가 사용한 메뉴의 효과 +
- t 시점에서의 여론의 추세
이 조사에서 노이즈는 임의표본추출에서 나타나는 노이즈, 여론추세의 분포에서 나타나는 노이즈, 조사기관효과의 노이즈, 의뢰기관효과의 노이즈, 상호작용 효과의 노이즈, 조사방법효과의 노이즈 등으로 필터링을 한다. 노이즈가 필터링 된 여론의 추세가 결국 여론M의 조사값이 된다. 보다 자세한 방법론은 ‘여론M(http://poll-mbc.co.kr/)’ 홈페이지에서 확인할 수 있다.
베이즈 추론은 언론의 정치적 경도를 측정하는데도 사용되어왔다. ‘여론M’의 분석을 담당하고 있는 서울대 박종희교수는 세월호 사건 직후 1년 간(2014년 4월 16일 ~ 2015년 4월11일, 총 361일) 네이버뉴스를 통해 제공되는 모든 언론보도 235,234건을 크롤링 해 새누리당과 새정치연합에 의해 발표되는 보도자료를 준거 지표로 삼아 언론사의 정치적 경도를 측정했다. 이때 여론의 추세를 알기 위해 ‘베이지안 동적선형 모델’을 사용했는데 단순통계중심의 빅데이터 분석이 가지는 연구자의 자의적 판단개입 여지를 줄이고 매체의 시간성을 고려해 기존 연구의 한계를 뛰어넘었다는 평가를 받았다. ‘여론M’에서도 같은 방법인 베이지안 동적 선형모델을 사용했음을 밝히고 있으며 이를 통해 여론의 추세를 확인했다고 밝혔다.
기존 선행연구를 참고삼아 종합적인 여론의 추세를 검토하였기 때문에 분석의 타당성과 분석 모델은 성능은 적절하였다고 판단된다. 실제로 이번 대선 결과 여론M은 윤석열 후보가 2.4% 앞설 것으로 예측했고 실제 결과는 0.6%로 오차범위 내 예측 결과를 제시했다. 다만 아직 전체 데이터는 요청하는 이에게만 공개하고 데이터의 투명성을 검증받기에는 부족함이 있어 보였다.
## 베이즈 추론 관련해서 그나마 초보자가 알기 쉽게 설명해 준 유튜브 콘텐츠가 있어 첨부한다.
https://www.youtube.com/watch?v=GX4Ld2O530w
< 분석 결과의 해석과 저널리즘의 활용>
‘여론M’의 담당자인 MBC 장슬기 기자는 분석결과를 콘텐츠화 시키기위해 먼저 인터렉시트 사이트인 여론M을 개설하고 시각화 된 분석결과를 매주 화요일마다 전달했다고 한다. 그러나 데이터의 양이 방대하고 이를 분석해 설명하는 과정이 1~2분 단위의 개별 방송뉴스에는 적합하지 않다고 판단해 분석결과에 대한 해석은 롱폼기사나 상대적으로 출연시간이 긴 낮뉴스와 유튜브 채널을 통해 전달했다.
메인페이지를 통해 전달 된 여론조사 추세결과를 바탕으로 다양한 후속 콘텐츠들이 만들어졌다. MBC 뉴스외전 포커스에 주기적으로 출연코너를 만들어 분석결과를 설명했고, MBC뉴스 프리데스크에 출연해 시간적 제약으로 메인뉴스에서 충분히 설명하지 못하는 부분에 대한 보충 설명을 이어갔다. 또 ‘털어서 선거속으로’라는 유튜브 콘텐츠를 제작하고 페이스북 등 SNS을 통해 여론조사 결과를 전달했다.
방대한 데이터를 분석하고 다양한 방식으로 수용자들에게 다가가려고 한 노력의 결과는 MBC라는 언론적 정치적 성향을 차치하고도 수용자들로부터 믿을만한 여론조사라는 호평으로 이어졌다.
선거직전까지 이루어진 분석을 토대로 당일 선거방송에서 데이터 분석코너로도 활용된다. 방대한 데이터를 수집하고 분석하는 고통스러운 과정이 필수이나 이를 통해 다양한 콘텐츠를 확보할 수 있다는 점은 높이 살 만하다.
<총평>
여론조사기관의 편향과 조사방식 등의 노이즈에 대한 필터링을 통해 여론의 추세를 종합적으로 판단하는 방식은 정확성과 더불어 보는 이로 하여금 신뢰감을 높여줄 수 있다. 실제 조사기관에 따라 여론조사의 결과가 많게는 20%가 차이 나는 상황에서 오염된 데이터가 상당 부분 섞여 있을 수 있으나 변수값을 적절히 통제하는 방식으로 이를 일부분 극복할 수 있다고 생각한다. 여심위에서 제공하는 데이터 이외에 미등록 데이터를 함께 수집하는 것 역시 조사 결과의 신뢰성을 높이는 데 기여하고 있다는 생각이다. 그러나 여론조사의 결과가 각 정당의 경선에도 영향을 미치고 있는 만큼보다 정확하고 신뢰할 수 있는 분석의 견고성 검토가 추가될 필요가 있을 것이다. 그러나 이 역시 경마식 보도가 가지는 위험성에 대해서는 자유롭지 못하다. 경마식 보도는 선거판을 마치 스포츠 경기처럼 다뤄 유권자가 꼭 알아야 할 정책과 이슈, 후보자의 정치적 특성을 가려지게 만든다. 그럼에도 불구하고 의도된 여론조사 결과에 무방비로 노출되는 유권자들에게 여론조사를 조사해 여론의 추세를 발표하는 ‘여론M’의 역할에는 지지를 보내고 싶다. 향후 ‘여론M’을 통해서 추후 지지율 추세에 더해 후보별 관련 정책과 이슈들을 함께 검토할 수 있는 인터렉티브 페이지로 발전되길 기대해 본다.
<Reference>
1. 윤석민(2015), 미디어 공정성 연구
2. 박종희(2018), 제18대 대선 여론조사에서 나타난 조사기관 편향
3. MBC 뉴스외전 포커스, “여론조사로 돌아본 대선 판도 ”
https ://n.news.naver.com/mnews/article/214/0001183802
4. 2021 데이터저널리즘코리아 컨퍼런스 ‘Part1. 선거와 데이터저널리즘’
5. 박종희(2016), 세월호 참사 1년 동안의 언론보도를 통해 드러난 언론매체의 정치적 경도
6. 남승모(2016.03.23.), SBS 취재파일 “ 경마식 선거보도, 왜 사라지지 않을까?”
https://news.sbs.co.kr/news/endPage.do?news_id=N1003482051
7. 빈도주의 와 베이지안 학파의 차이.
