여론조사, 왜 이렇게 틀린건가?
그 이유를 여기서 밝혀 드립니다.
2016년 4월 총선 새누리당 대패.
2016년 6월 브렉시트(Brexit).
2016년 11월 도널드 트럼프(Donald Trump) 미국 대통령 선출.
위 세 사건의 공통점을 아시나요?
바로 올해, 여론조사 결과와는 정반대의 결과가 나왔다는 것입니다.
처음에 저 소식들을 접했을 때, 저는 '멘붕상태'였습니다.
오늘날 수많은 리서치 회사들이 있습니다. 문제는 그들이 항상 정확하지는 않다는 것입니다. 올해는 유난히 심했죠위 세 선거의 결과가 Ipsos 등 여러 여론조사기관이 예측한 것이랑 정반대로 나왔기 때문입니다.
결과가 이렇다보니 많은 사람들은 여론조사 결과를 믿지 않게 되었습니다.
빅데이터가 중요하다고 강조되는 시대에다가 컴퓨터 기술도 발전한 오늘날, 리서치 업계의 예측이 어쩌다가 이런 상황까지 와버렸을까요?
도대체 왜?전 그것을 실제로 리서치업체에서 근무하면서 알게 되었습니다.
왜 이 말이 진리인지, 직접 일해보면서 알았습니다물론 여론조사결과가 현실과 부합되지 않은 이유야 여러가지가 있겠지만, 이 포스팅에서는 제가 실제로 경험한 점만 따로 추려서 다루도록 하겠습니다.
바로 본론으로 들어가 리서치 업체의 전망이 틀리게 된 주요 이유들로 다음과 같습니다.
첫 번째, 리서치 연구의 질이 지속해서 하락하고 있다는 것입니다.
실제로 제가 리서치 회사에서 근무하면서 매주 연구원들이 회사를 그만두는 것을 봐왔습니다.
반면에 업무량은 늘어났습니다.
제가 속해있던 팀원은 불과 5명(저 포함)이었는데, 정작 프로젝트는 한 번에 7개나 하고 있었습니다.
한국장학재단의 효용성, 헬스케어, 자동차, 미디어기기 등등.......
사람들은 계속 그만두게 되면 그만큼 남아있는 사람들의 업무는 더욱 늘어나게 됩니다.
그렇게 되면 개인의 업무효율성도 당연히 저하되게 되고, 더 나아가 전체 연구의 질이 저하된다는 점입니다.
하지만 회사 측에서는 비용을 근거로 들어 최소 인원으로만 연구를 진행하려 합니다.
당연히 리서치 연구의 질이 하락할 수 밖에요.
일반 회사에서 말하는 야근과는 차원이 다릅니다. 기본이 새벽 3~4시입니다. 주말에도 근무하는게 많지요두 번째, 리서치 연구방식의 발전이 언제부터인가 엉뚱한 방향으로 진행되고 있다는 것입니다.
리서치 연구의 본질은 어디까지나 어떻게하면 연구대상들을 정확하게 파악하는데에 방점이 찍혀 있습니다.
하지만 최근 리서치 회사들이 운영하는 방식은 이상하게도 어떻게 하면 연구대상들이 아닌 연구방법을 더 정교하게 수행하는데 그 자체에만 방점이 찍혀있는 듯한 인상을 받았습니다.
여러 리서치 회사들이 자사의 분석툴이 보다 정교하다고 주장하지만, 근본은 똑같습니다.
바로 '설문지'를 통해 연구를 시행한다는 점입니다.
하지만 그 '설문지'에 모든 내용을 담는다는 것 자체가 불가능합니다.
게다가 주관식 응답형의 경우, 100명 중 2~30명이 제대로 답변을 달지 않는 경우가 대부분입니다.
이 경우, 그것을 정확하게 분류하는 것이 불가능합니다.
그렇기 때문에 이 문제점들, 연구대상들의 의중을 보다 정확하게 파악하기 위해 무엇을 해야할 지에 대해 고심해야 하는데, 어떤 소프트웨어를 쓸까? 어떤 기기를 활용하여 여론조사를 수행할까? 하는데만 관심을 가지고 있다는 것입니다.
목표가 잘못되었으니, 제대로 된 결과가 나오길 바라는 것 자체가 말이 안되는 거죠.
저기 '기타'란이 보이시나요? 대부분의 사람들은 제대로 작성하지 않습니다. 정확히 분류하기도 불가능합니다.세 번째, 리서치 회사는 언제나 '을'이라는 것입니다.
저는 이것이 가장 큰 요인이라고 생각합니다.
실제로 리서치 회사들은 시장조사, 여론조사 등을 자체적으로 시행하는 것이 아닙니다.
연구과제를 받고 진행하는 것입니다.
그러기 위해선 여기저기 영업을 다녀야 합니다.
결국은 리서치 회사는 '을'이라는 것입니다.
그렇다보니 리서치 회사 자체로는 정확한 보고서를 작성했음에도 불구하고 고객사와 미팅을 거치는 과정에서 일부 내용이 바뀌거나, 심하게는 설문지 자체를 다시 쓰는 경우도 있습니다.
별로 중요하지 않을 수도 있겠지만, 이 사소한 차이 하나로 1~2% 차이가 납니다.
거기다가 리서치 회사마다 중요시하는 설문지 작성 방식도 다릅니다.
그러니 당연히 리서치 회사마다 연구결과도 다르고, 그만큼 현실과 유리되는 것이지요.
리서치 회사는 결국 '을'입니다네 번째, 리서치 회사들이 직접 설문조사원들을 제대로 관리하지 않았기 때문이며, 사람들이 제대로 응답하지 않은 경우도 있다는 것입니다.
리서치 회사에서는 체계적으로 연구계획을 세워놓았을지는 모르지만, 정작 현장에서 설문조사를 시행하는 이들은 제대로 일을 하지 않은 경우가 태반입니다.
게다가 대부분의 사람들은 각자 자기가 하고 있는 일이 있기 때문에 제대로 응답하지 않는 경우도 있습니다.
그렇기 때문에 그들의 의중을 제대로 파악하는 것이 힘들다는 것입니다.
제가 리서치 회사에서 일하면서 느낀 점은 위 네 가지였습니다.
이 외에도 여러가지가 있겠지만, 아무래도 저는 제가 리서치 회사에서 직접 경험하면서 위 네 가지 요인들이 오늘날 여론조사의 파행을 부른 것이 아닐까하고 생각합니다.
그리고
언론이나 유명 기업 CEO들은 오늘날 개인의 직관이 아닌, 체계적으로 수집한 데이터 분석이 중요하다고 하였으나, 아직은 개인의 직관력을 무시할 수 없다는 것이 위 세 선거를 통해 드러난 것이라고 생각합니다.
