나쁜 데이터는 어떻게 우리의 삶을 망가트리는가
호환마마보다 무섭다
(미리 알립니다. 이번 회차는 내용이 다소 민감할 수 있습니다)
한 달 전 비상계엄사태(이하 내란)가 터지고 일상이 많이 달라졌습니다. 수면리듬이 아예 망가졌고 좀처럼 일이 손에 잡히지 않습니다. 혹시 저만 그런가 싶어서 주변에 문의해 보니 다들 비슷합니다. 불안해서 길게 잠을 못 잔다고. 탄핵안이 가결되는 순간만 해도 나아지겠구나 했는데 아직 미적지근하고 증상도 여전합니다. 기대와 현실은 항상 어긋나기 마련이지만 처한 현실이 너무 우습다는 생각이 좀처럼 가시질 않습니다.
저분의 마음이 딱 그날 제 마음이었습니다한 달 가까이 긴장해서 그런가 연초엔 독감까지 찾아왔습니다. 열이 40도까지 오르니 이번 회차는 부득이하게 건너뛰어야 하나 하던 찰나 지지율 40%를 회복했다는 기사가 눈에 띄었습니다. '20%가 무너진 게 언젠데 무슨 소리야?' 놀랬습니다. 설문지를 찾아보니 기가 찼습니다. 민감하기 짝이 없는 시기에 이런 여론조사를 내놓다니. 최소한의 기본도 안 되어 있는 결과를 내놓고 또 받아쓰며 순식간에 퍼져나가는 모습을 보니 화가 났습니다.
여론조사는 구성원들에게 사회의 다양한 의견과 태도를 물어보는 중요한 도구입니다. 재료가 언어인 만큼 세심하게 작성되어야 합니다. 질문이 부적절하면 조사 결과를 왜곡시키고 그렇게 산출된 결과는 구성원들에게 어떻게든 영향을 끼칩니다. 이 말도 안 되는 40% 지지율 여론조사도 예외는 아닙니다.
부정적인 전제를 깔고 물어보면 답이 바뀐다
질문의 프레이밍이라고 하죠. 질문을 어떻게 구성하고 표현하는지에 따라 응답자의 답변은 아주 크게 달라질 수 있습니다. 특히 부정적인 전제나 편향된 표현을 포함한 질문은 응답자의 판단에 영향을 미쳐 왜곡된 결과를 초래할 수 있습니다.
좋은 사례가 있습니다. 2023년 초에 영국의 여론조사 기관 YouGov에서 유럽인권협약(ECHR) 탈퇴에 대한 건으로 프레이밍 효과를 실험했거든요. 조사팀은 ECHR 탈퇴에 찬성하는 방향으로 편향된 질문, 중립적인 질문, ECHR 잔류에 찬성하는 방향으로 편향된 질문을 각각 다른 응답자 그룹에게 제시했습니다.
그 결과, 탈퇴에 찬성하는 방향으로 편향된 질문은 중립적인 질문에 비해 18% p 더 높은 탈퇴 지지율을 보였고, 잔류에 찬성하는 방향으로 편향된 질문은 13% p 더 낮은 탈퇴 지지율을 보였습니다. 질문의 프레이밍이 응답에 상당한 영향을 미칠 수 있음을 명확히 보여줍니다.
의도를 가지고 물어보면 어떻게든 답변에 영향을 미친다예를 좀 더 들어볼까요. '현 정부의 부패한 정책이 얼마나 나쁘다고 생각하십니까?'라는 질문을 받았다고 가정해 봅시다. 위 질문은 정부 정책이 부패했다는 전제를 내포하고 있습니다. 질문을 듣고 이 전제를 인식했다면 다행인데 인식을 하지 못했다면 어떻게 될까요. '우리 정부가 우크라이나 전쟁에서 우크라이나 국민을 돕기 위해 충분히 노력하지 않는다는 데 동의하십니까?'라는 질문은 어떻습니까. 여기엔 정부의 노력이 부족하다는 전제가 깔려 있습니다. 이렇게 깔린 의도는 응답자로 하여금 정부정책이 부패했거나 정부의 노력이 실제로 부족하다고 생각하게 만들 수 있습니다. 아래 답변처럼 말이죠.
반대로 긍정적인 전제 역시 응답에 영향을 미칠 수 있습니다. 더 호의적인 답변을 하도록 유도하는 거죠. 예를 들어, '우리 회사의 최고급 고객 서비스에 얼마나 만족하십니까?'라는 질문은 회사가 제공하는 고객 서비스가 이미 최고 수준이라는 암묵적 전제를 깔고 있습니다. 이러한 질문은 응답자에게 품질에 대해 더 긍정적으로 평가하도록 유도할 수 있습니다. 부정만큼 강력하진 않지만 충분히 영향을 준다고 확인된 부분입니다.
동일한 정보나 상황이라도 어떻게 제시되느냐는 무척 중요합니다. 특히 여론조사에서는 질문이 어떻게 프레이밍 되느냐에 따라 조사결과가 크게 달라질 수 있기에 연구(조사) 자들은 질문을 설계할 때 각별한 주의를 요합니다. 프레이밍 효과가 생기지 않도록 말이죠. 사회조사기법에서 마르고 닳도록 강조하는 대목 중에 하나입니다.
이 여론조사는 왜 문제가 있나
무엇보다 이 조사는 나오면 안 되는 조사입니다. 여러분들이 들으면 아실만한 여론조사 업체들은 탄핵안 가결로 대통령의 직무정지가 결정되자 대통령 지지율 조사 잠정중단을 발표했거든요. 직무평가가 불가하기 때문에 조사 자체가 의미 없기 때문입니다. 그럼에도 불구하고 나왔다는 건 의도가 있는 거죠. 당당히 첫 질문으로 내놓은 패기가 놀랄 따름입니다.
뒤로 갈수록 정말 가관입니다. '체포 영장에 대한 불법논란', '해킹 및 부정선거 가능성에 대한 의혹', '부정선거 의혹을 제기하는 행위에 대한 처벌 법안' 등 극소수 극우매체에서나 들을법한 표현과 논리들로 전제를 구성하고 있습니다. 해당 전제에 대해 공감하는 응답자라면 가벼운 마음으로 답변하겠지만 이 전제는 내란을 겪고 있는 대다수 국민정서와 확실히 거리가 멉니다. 모르진 않았을 텐데. 몰랐다면 자격미달이겠죠. 최소한의 고민도 없이 문제를 일으킨 쪽의 의도를 그대로 담았습니다.
교묘했으면 감탄이라도 했을 텐데 그렇지도 않습니다. 최근의 연구(포항공과대학교. 2023)를 보면 "핵발전소의 위험성을 고려할 때, 귀하는 핵에너지 사용에 대해 어떻게 생각하십니까?"라는 질문에 대해 실제로 응답자들은 핵에너지의 위험성에 주목했고 더 부정적으로 응답했다고 합니다.'원자력발전소-원자력에너지'라는 표현보다 '핵발전소-핵에너지'라는 표현으로 은연중에 에너지보단 폭탄의 이미지를 떠올리게 만든 거죠. 위험성이라는 단어에 감춘 연상 효과입니다. 저 설문 어디에도 그런 흔적은 보이지 않습니다. 마지막에 국회의장의 중립성까지 걸고넘어지는 치졸함만 보여주었습니다.
대한민국의 국민, 연구자, 필드에 있는 1인으로 쳐다보기 부끄러운 설문지입니다. 아마 저 여론조사를 받고 끊어버렸을 20,455분의 응답자 역시 저와 비슷한 마음이었을 거라 짐작해 봅니다. 수집된 샘플에 대한 강한 의구심이 드는 게 정상입니다.
나쁜 데이터는 어떻게 우리의 삶을 망가트리는가
머지않아 정치의 계절이 돌아올 겁니다. 아마 서로의 니즈가 많이 맞아떨어지겠죠. 자신들의 목소리에 힘을 싣고 싶은 쪽에서 적당한 파트너를 찾을 테고, 상대적으로 영세한 업체는 당장의 푼돈이 아쉬우니 유혹을 뿌리치기 쉽지 않거든요. 그렇게 만들어지고 뿌려지기만 하면 됩니다. 어차피 여론조사들은 쏟아져 나올 테고 언론도 보도 경쟁에서 자유롭지 않습니다.
사람들은 발표되는 조사 하나하나를 들여다보지 않습니다. 귀찮기도 하지만 그럴만한 에너지가 없습니다. 데이터리터러시가 중요하다 중요하다 말은 하지만 이 역시 본질은 에너지와 수고로움을 얼마만큼 감수하냐입니다. 저처럼 업으로 들여다보는 사람이 아니고서야 그러기 쉽지 않습니다(업으로 들여다봐도 힘듭니다). 의심보다는 수용이 편합니다. 오늘은 잠시 시끄러울 수 있지만 내일의 여론조사가 쏟아지면 자연스럽게 묻힙니다. 시끄러워도 일상은 반복되니까요.
이 과정이 누적되면 여론이 정치에 영향을 미치는 것이 아니라, 여론조사가 정치에 영향을 미치게 됩니다. 기억하실지 모르겠지만 이번 대통령은 누구보다 이 밴드왜건 효과를 톡톡히 누렸습니다. 결과적으로 나쁜 데이터가 쌓여 우리의 삶을 망가트린 셈입니다.
나쁜 데이터, 호환마마보다 무섭습니다.당장 이번 지지율 40% 조사를 두고 이게 사실이냐며 호들갑 떨던 지인들이 꽤 있었습니다. 수치 자체가 무척 황당하지만 어떻게든 영향을 미친다는 걸 보여주는 셈이죠. 이미 많이 망가져버린 우리의 삶을 생각하면 이런 수준 낮은 장난은 치지 않았으면 좋겠습니다. 딱히 탄핵 기각에 도움도 안 될 텐데 대체 왜 그러는 건지.
쓰다보니 또 열이 오릅니다. 감기 조심하세요.
(다음회차부터 목요일에 발행됩니다)
