통계의 두 얼굴
온라인 글쓰기(5)
통계는 글을 위한 꽃이지만, 이면엔 위험이 도사린다 통계는 글을 뒷받침하는 근거로 가장 명확하고 분명하다. 아예 설문조사나 통계자료만 제공하는 전문 업체까지 성행하는 이유다. 하지만 잘못 조사된 통계를 쓸 경우 일반화의 오류 등 되돌릴 수 없는 실수를 할 수 있다. 본질적으로 통계를 만든 사람의 책임이겠지만, 잘못된 통계를 기반으로 한 글은 논리성과 신뢰성에서 큰 타격을 받을 수밖에 없다. 특히 온라인 글을 읽다보면 통계나 설문조사를 무턱대고 믿고 옮기는 경우가 적지 않다.
통계청과 같은 믿을 수 있는 국가기관이 발행한 통계라면 문제가 불거질 가능성은 적겠지만, 그렇다고 정부 기관의 통계라고 중립성이나 신뢰도 논란에서 언제나 자유로운 것은 아니다. 과거 통계청이 물가상승률 통계에서 정권에 따라 물가를 측정하는 물품을 바꾸면서 물가 수치를 낮췄다는 의혹을 제기한 기사도 있었다. 물론 이런 경우는 왠만한 전문가가 아니면 검증하기가 불가능하다.
하지만 통계에 대한 전문적인 지식이 없어도 대부분의 통계기관들은 설문 방법을 통계자료에 적시하므로 한번 읽어보는 것만으로도 이상한 점을 걸러낼 수 있는 경우가 적지 않다. 설문의 질문을 만들때부터 특정 결과를 유도하려는 의도가 들어갔다던지, 미흡한 설문 방법 탓에 신뢰도가 지나치게 낮은 경우도 있다. 또 통계는 정확한데 자의적인 해석으로 과대포장 하는 경우도 줄곧 본다.
이런 경우 통계 기관은 물론 글쓴이 역시 책임에서 자유로울수만은 없다. 소위 '통계의 거짓말'은 쉽게 들통나지 않지만, 그 후폭풍은 거세다. 흔히 의도의 선함, 즉 잘 모르고 문제가 있는 통계를 썼다는 해명을 하지만, 언제나 이런 해명이 이해받는 것은 아니다.
2009년 9월 한 중앙부처는 '지금은 셀러던트(공부와 일을 병행하는 직장인) 시대'라는 통계를 냈다. 한 기관에 일하는 7487명에게 직업능력개발에 대한 설문을 실시했더니, 전체의 96.5%가 직업능력개발을 위해 하루 1시간 이상을 투자했다는 것이다. 이 대로라면 직장인 대부분이 직업능력을 키우기 위한 노력을 하고 있다는 의미인데, 실제로는 나는 물론 내 주위에서 이런 사람은 절반도 되지 않았다. 상식적으로 이상했다.
유심히 통계를 보니, 해당 설문 대상은 자기 기관, 즉 산업인력공단에 등록된 사람이었다. 산업인력공단은 기본적으로 직업교육을 하는 기관이니 여기에 등록한 사람의 96.5%가 일과 직업능력개발 공부를 병행하는 것은 당연하다. 댄스학원 학생들에게 하루에 1시간 이상 춤을 추냐고 물은 셈이다. 편향된 위치에 있는 이들에게 물었으니 마음에 드는 결과가 나오는 것도 당연했다. 이 통계에는 직업능력개발을 위해 휴가를 사용할 마음이 있냐는 질문도 있었는데 긍정적인 대답이 79.8%나 됐다. 역시 편향된 모집단 때문에 나온 결과다.
서울시는 2015년 4월에 '서울시 공직자 행동강령'(박원순법) 시행 6개월을 맞아 시민 1933명에게 진행한 설문결과를 공개했다. 시민의 81%가 "청렴도 개선효과가 있다"고 답했다는 것이다. 일반 시민들이 시행 6개월밖에 안된 서울시의 박원순법을 정말 알까? 그래서 통계를 낸 담당자와 통화를 했다.
“10명 중에 8명이 박원순법에 대해 효과가 있다고 답했다던데 내 주변에는 이런 법이 있는지 아무도 모르던데요”라고 물으니 그는 “그래서 박원순법의 내용과 취지를 알려주고 물어보았습니다”라고 했다.
'금품이나 향응을 받은 공직자를 처벌한다'는 박원순법의 취지를 알려주고 물었다는 건데, 아마도 사람들은 박원순법으로 '청렴도 개선효과가 있었다'고 답한 것이 아니라 잘 모르는 법이지만 들어보니 '좋은 법'이라고 답했을테다. 결국 박원순법의 영향을 받는 사람들에게 물어야 하는 청렴도 개선효과를 불특정 시민에게 물었으니 모집단을 잘못 택한 셈이다.
또 2009년 6월 한 중앙부처는 근로자 300인 이상 사업장 2318곳을 조사해 평균 정년이 57.14세라고 밝혔다. 평균 정년은 첫 조사가 이뤄진 2001년 56.7세에서 2002년 56.62세, 2003년 56.65세로 내려갔다가 2004년(56.81세) 오름세로 돌아선 뒤 2009년 57세를 처음으로 돌파했다고 했다.
2009년 당시는 글로벌 금융위기의 여파가 한창이었다. 나는 ‘정말 근속 기간이 그렇게 늘었을까’ 의심이 들었다. 유심히 통계를 찾아보니 해마다 표본수가 달랐다. 평균은 표본 수에 큰 영향을 받는다. 80점과 100점을 맞은 두 학생의 평균 점수는 90점인데, 50점을 맞은 2명을 더 포함하면 총 4명의 평균 점수는 70점이 된다. '사오정'(45세 정년)이라는 신조어가 유행하고 은퇴자가 운영하는 치킨집이 급증한다는 뉴스가 쏟아지던 2009년, 평균 정년은 정말 57세를 넘었을까. 그럴 가능성은 매우 낮다. 통계의 목적이 거대한 현실의 단면을 설명하는 도구임에도 단순히 수치를 도출하는데만 열중한 결과라고 생각한다.
같은 해 한 소비자기관은 백화점, 대형마트, 도매점 등에서 합성착색료를 함유한 어린이 기호식품 50개를 수거해 조사한 결과 모든 제품에서 과잉행동을 유발하는 타르 색소가 1개 이상 함유돼 있었다고 밝혔다. 이 조사가 정확했다면 분명 문제다. 실제 초콜릿, 사탕, 비스킷 등에 쓰이는 황색4호, 황색5호, 적색40호, 적색102호 등은 아이들의 과잉행동을 유발하는 것으로 알려져 있다. 과잉행동은 학습, 기억, 동작, 언어, 감정적 반응, 수면 패턴에 악영향을 미치는 행동장애를 말한다.
하지만 이 통계는 합성착색료를 함유한 어린이 기호식품 전체에 위험한 타르 색소가 들어있다는 식으로 오해될 소지가 있다. 조사 전에 이미 포장지에 합성착색제를 포함했다고 적힌 제품만 골라 성분을 조사한 것인데 말이다. 실제 식약청이 당시 국내에 유통되는 사탕류, 탄산음료, 초콜릿, 과자, 껌 등 790개 품목에 대해 실태조사를 한 결과 8.7%에 해당하는 69개만 식용 타르색소를 포함했다. 식용 타르색소를 쓰는 제품의 비율을 제시하지 않고 50개 중에 50개 모두에서 위험한 색소가 포함됐다고 지적하면 실제보다 과도한 불안을 심어줄 수 있다.
통계가 정확해도 해석에 따라 의미가 달라지기도 한다. 2009년인가 2년 이상 회사를 다닌 비정규직을 무조건 정규직으로 전환하도록 한 '비정규직법'이 효력을 발생하면서 '비정규직의 해고 규모'는 최고의 화두였다. 쉽게 말해 사장이 임금을 아끼려 비정규직을 정규직으로 전환해주지 않고 2년이 되기 전에 해고하고 그 자리에 비정규직을 재고용할 것이라는 관측이 많았다.
이와 관련해 노동계는 비정규직 중 겨우 30%만 정규직으로 전환될 것이라고 봤다. 반면, 고용노동부는 비정규직 중에 30%만이 해고될 것이라고 했다. 다시 말하면 노동부는 비정규직의 70%가 정규직으로 전환될 것이라고 긍정적으로 예측했고, 시민단체는 70%가 해고될 것이라며 비관적으로 예상했다.
당시 노동고용부가 실태파악에 나섰는데 계약기간이 만료된 비정규직 1만 9760명 중 37%(7320명)가 '잘려서' 실직했다. 여기까지 보면 노동부의 예측이 맞았지만 비정규직이 정규직으로 전환된 비율은 70%가 아니라 36.8%(36.8%)로 해고 비율과 비슷했다. 2년이 지났지만 사장과 직원이 이면 합의를 하고 비정규직 그대로 고용하는 편법이 26.2%(5164명)나 있었기 때문이다.
이런 결과를 두고 고용노동부는 여전히 해고는 37%뿐이라고 주장했고, 노동계는 비정규직 중 정규직 전환 비율은 36.8% 뿐이었다고 주장했다. 26.2%의 '편법 고용'은 무시하고 자신의 예상이 옳았다고만 주장한 셈이다. 또 이런 예상치 못한 '편법 고용'에 대해 고용부는 엄연히 해고된 게 아니라고 했고, 노동계는 정규직 전환이 아니라고 주장했다. 결국 통계가 해석에 따라 고무줄이 된 셈이다.
통상 나는 후배들이 통계를 쓸 때, 통계 결과가 상식적으로 현실과 부합하는지 점검하라고 당부한다. 또 통계를 만든 기관의 규모나 신뢰성도 따져보라고 한다. 큰 기관이라고 꼭 신뢰도가 높겠냐고 할 수도 있지만, 대체로 그렇다. 적어도 통계를 만질 전문인력이 업체에 상주하고, 설문이나 통계 조사에 충분한 돈과 인력을 투입할 확률이 높기 때문이다.
여론조사 기관마다 실정이 얼마나 차이가 나는지 살펴보자. 2024년 제22대 국회 총선을 앞두고 후보자 지지도 여론조사를 하는 업체들을 직접 찾아봤던 한 후배는 대부분 업체가 서울 영등포구 국회 인근에 몰려있었는데, 어떤 업체는 직원 12명이 바쁘게 움직였지만, 어떤 업체는 포털지도에 위치가 나오지 않거나 심지어 해당 건물의 경비도 회사의 존재를 모르는 곳도 있었다고 했다. 한 곳은 5평 남짓한 방에 3명이 앉아 있었고, 회사 문이 닫힌 곳도 있었다는 것이다. 모두 중앙선관위 산하 중앙선거여론조사심의위원회(여심위)에 등록된 업체였다. 같은 해 여심위는 총 88개의 여론조사 등록업체 중에 30개를 등록 취소했다.
결국 통계를 부실하게 만드는 업체에 가장 큰 책임이 있지만, 이를 인용하는 글쓴이 역시 최대한 통계의 신뢰성을 검증하는 노력이 필요하다. 적어도 무턱대고 아무 통계나 글의 근거로 제시해서는 안된다.
