도긴개긴

언젠가 이런 글을 쓰고 싶었다. 나는 여론조사 특히 한국의 여론조사 결과를 신뢰하지 않는다.
최근 잇달아 발표되는 대선후보 여론조사에서 윤석열의 강세를 보이는데 의아해하는 사람들이 많은 줄 안다.
이를 두고 어느 분이 최근 여론조사결과로 민주당의 각성을 촉구하고 자포자기하는 듯한 글을 올렸다.
내가 "응답률 8%에 불과..."라는 댓글을 달았다. 그런데 또 다른 분이 대댓글로 " ㅇㅇ 와 ㅁㅁ 두 군데 여론조사기관은 '10% 이상'만 발표한다"며 응수했다.
해서 좀 더 심도깊게 다뤄 정확한 팩트로 댓글을 달려고 했더니 논란이 가중되어서인지 본문 주인이 해당 글을 삭제했다.

복잡해 보이는 여론조사 기법에 관해 쓰다보면 길어질 뿐만 아니라 오히려 기억에 남지 않을 것 같기에 그 중 주요한 지표인 '응답률'과 오해하기 쉬운 '신뢰수준'에 관해서만 언급한다.

#응답률:  
'응답률'은 여론조사에 가장 앞서있다는 미국이 채택하고 있는 국제 기준의 '협조율'을 한국화(化)한 것이다. 여기서부터 문제가 생긴다.
[ '끝까지 설문에 응한 사람' / '전화 연결된 사람' = 협조율(한국의 응답률) ]이다.
그런데 국제기준의 '응답률'은
['끝까지 설문에 응한 사람' / '전화연결을 시도했던 모든 사람' = 응답률(국제기준) ]이다.
즉 국제기준에서는 나처럼 여론조사기관의 전화라면 끊어버리는 사람까지 분모에 포함시켜야 제대로 된 '응답률'이라고 부른다.

그렇다면 최근 '윤석열 45.6% : 이재명 32.4% ' 로 공표된  한국사회여론연구소(KSOI)의 국제기준 응답률은 얼마나 될까?
그 여론기관이 밝힌 '8%'의 응답률(국제기준으로는 협조율)을 국제기준으로 산정하면 "3.48%"에 불과하다. 100명 중 3명정도가 여론조사에 응답한 것이다.
이런식으로 산정하면 여론기관이 공표하는 "응답률 5%"는 국제기준으로는 "1%"대다. 100명에게 전화를 걸어 1명이 마지막까지 설문에 응답한 값이다.
대부분의 학자들은 응답률 5%(국제기준)이하 여론조사로는 추세조차 언급할 수 없다고 주장한다.
'당신은 '국제기준'과 '한국식 기준' 어느 것이 타당하다고 생각하는가?'

#신뢰수준:
여론조사기관이 결과를 표할 때마다 꼬리표처럼 따라붙는 게  '95% 신뢰수준에 표본오차 ±3.1%포인트'다.
이것을 "이 여론조사 결과를 95% 신뢰할 수 있다"로 해석하면 큰 착각이다.
해당 여론조사기관이 "'같은 방식으로 여론 조사를 100번 했을 때 95번은 비슷한 결과, 즉 그 오차범위가  ±3.1%포인트 안에 들어온다"는 뜻이다.
달리 얘기하면 그들 방식으로 조사했을 때 결과치가 100번중 95번은 6.2%(-3.1% ~ +3.1사이)안에 들어오고, 그나마 5번은 6.2% 의 오차범위마저 벗어난다는 얘기에 불과하다. 그것도 각 여론조사기관마다 다른 그들의 방식으로 했을 때 그렇다는 뜻이다.

물론 '응답률'이 여론조사의 신뢰도와 정확도를 결정짓는 것은 아니다. 그런데 그 '응답률'마저 한국은 국제기준과는 동떨어져 있다는 말을 하고 싶은 것이다.
이런 식으로 '응답률'마저 편의에 따라 한국식으로 공표하는 여론조사를 나는 신뢰하기 어렵다.
미국의 경우 응답률 8% 이하(물론 국제기준)의 여론조사에 대해서는 언론이 공표 자체를 못하도록 제한하고 있다. 참고적으로 21대 총선 당시 공표된 전체여론조사중에 국제기준 응답률 10%이상인 여론조사는 1.52%에 불과하다. 15.2%가 아니다. "1.52%"다.

게다가 여론조사기관마다 표본의 무작위성, 질문의 편향성 여부, 질의 응답 항목과 보기의 적절성, 조사 방법 설계의 합리성 정도가 다 틀리다.
즉 임의로 조작하거나 의도적으로 결과치를 충분히 유도할 수 있다는 말이다.
'왜 홍준표와 윤석열이 여론조사 설문을 가지고 합의를 봤겠는가?'
'당신은 ARS 기계음과 조사원의 목소리 중 어떤 조사에 응할 것 같은가?'
'당신 집에 유선전화가 있기나 한가?'
'당신은 어떠한 유도성 설문에도 일관성있는 대답을 할 수 있는가?'
변수는 그야말로 다양하고 결과치 또한 그때마다 다를 수 밖에 없다.

왜 사회적 이슈가 될 만한 사건 하나를 두고 팩트까지 분명함에도 불구하고 레거시언론의 기사를 보면 저절로 색안경이 끼워지고, 팩트가 모호해지면서 의구심이 남게 될까?
언론이 누구의 눈치를 보고 어디에 밥줄을 대고 있느냐에 따라 편향적으로 기사를 축소, 확대, 왜곡, 호도 심지어 가짜뉴스까지 덧붙이는 것이다.

여론조사기관도 말이 '기관'이지 일반 '회사'다. ('기관'이란 말 자체도 자칫 오해를 불러일으키는데  한 몫 한다고 생각한다)
한국 언론과 크게 다를 바 없다고 생각하는 것이 속 편하다.
차라리 정말 궁금하다면 구글 트렌드를 찾아 보는 편이 낫다. 최근 구글 빅데이터에 의하면 이재명이 윤석열에 비해 2배가 넘는 관심도를 유지하고 있다.
관심도가 지지율과 반드시 연동하지 않지만 최소한 현재 언론이 보이는 양상과는 반대로 흘러가는 추세라는 것만은 분명해보인다.
인물에 따른 검색량에 따라 여론의 실질적인 관심도가 추세로 표출되는데다, 응답률이 낮은 여론조사에 비해 보다 정확하고 질문자의 주관이 배제되는 빅데이터 분석이 훨씬 객관성이 높을 수 밖에 없다.

※국제기준 응답률 산정방법:
한국식 응답률 × 접촉률 = 국제기준 응답률 (접촉률은 중앙선거여론조사심의회 홈피에 들어가 해당 여론조사를 검색하면 나온다)
왜 이따위로 어렵게 숨겨놓고 국민들로 하여금 산수를 하게 만드는지...

(사진은 울릉도 삼선암이다. 왜 셋이어야 하는데 위 사진에서는 둘인가? 근해에서는 큰 바위 뒤에 또다른 바위가 겹쳐져서 안보일 뿐이다. 큰 바다로 나가면 아래 사진처럼 세개가 다 보인다)