숫자의 힘을 이기는 해석능력을 키워야
문화정책을 위한 인식론 : 실증주의를 보완할 비판적 실재론 (주1 참조)
한국지역문화정책연구소 출범 포럼(2020.1.30.,한국광역문화재단연합회 주최)
“문화통계, 빅데이터와 지역문화재단”(백선혜)에 대한 토론문 일부 수정
통계에 기반한 문화정책, 당연한 변화, 환영하면서 우려한다.
보다 과학적이며 소통가능한 정책이 되기 위한 문화통계 구축은 당연한 변화의 방향이고, 한국지역문화정책연구소의 우선 연구 과제임에 동의한다. 그럼에도 불구하고, 너무나 당연한 정책적 변화는 자칫 본질을 압도하는 형식적 변화로 치달을 가능성이 크기에, 미리 부작용을 견제하는 의견을 덧붙인다. 그리고 통계를 전문적으로 담당할 연구자들의 역할에 대응하여 지역문화재단의 현장전문가들이 맡아야 할 역할이 무엇인지에 대한 의견도 제안한다. 연구자들에게는 실증주의적 정책방법론으로의 전환에 앞서 문화와 정책이라는 사회현상을 어떻게 인식하고 해석하는 것이 적절한지에 대한 인식론적 전환이 필요하다는 보다 근본적인 문제를 제기해본다.
문화정책은 사실과 가치를 모두 소통해야 한다.
사회과학 연구로서 문화정책에 적합한 새로운 연구방법론 고민이 필요하다. 손에 잡히지 않는 문화의 가치를 실증적으로 표현하는 숫자는 증거주의(evidence-based) 공공정책 기조 아래서 이해관계자들과 소통과 설득의 언어로서 매우 높은 효율성과 효과성을 자랑한다. 하지만 숫자로 보고되어야 할 행정의 성과와 문화의 본질적 가치 사이의 간극이 크다는 것은 오래전부터 현장에서 제기되고 있는 문제이다. 통계수집과 지수화 과정에서 현장의 맥락은 소실되기 싶고, 증거기반으로 현실에 맞는 정책을 펼치겠다는 당초 이념이 무색해지기도 한다. 사회과학으로서 문화정책연구는 사실에 대한 과학적 논증과 가치에 대한 철학적 이해가 동시에 가능한 이론적 기반을 갖출 필요가 있다. 최근 행정학에서는 영국의 과학철학자 로이 바스카(Roy Bhaskar) 등의 비판적실재론(Critical Realism) 연구에서 논리증주의에 기초한 경험적 연구방법론을 보완할 이론자원을 수혈하는 연구들이 발표되고 있다. 층화된 존재론에 기반한 비판적실재론의 이론을 활용하여, 신공공관리론의 존재론과 인식론적 오류를 비판하거나(주2 참조), 실증주의 정책평가에 대한 실재론적 비판과 대안을 제시한 연구(주3 참조), 행정이론의 보편성과 특수성의 이분법 극복 가능성을 탐구한 연구들(주4 참조)을 참조할 필요가 있다.
숫자의 힘은 강력하다.
그만큼 부적절하게 해석되거나 사용될 경우 부작용에 대한 우려도 크다. 정책에서 숫자가 활용되는 대표적인 사례로 현장의 실태조사(조사통계), 관계자의 인식조사(설문통계), 정책의 성과측정일 것이다. 그런데, 문화자원실태조사에서 한 연구원이 예전보다 더 열심히 찾으니 그 도시가 문화도시가 되어 있더라는 에피소드처럼, 정책이 정의한 체계 안에서 인식되는 것만이 실재하는 것은 아니다. 서울문화재단이 최근 시행한 서울시민문화향수실태조사에서 노년층의 문화활동 수준이 청년층을 앞지르는 결과는 일부 실제 변화이기도 하지만 설문의 변화의 필요성을 제시하는 것이기도 하다. 정책목표로 설정된 것만 조사하는 평가지표대로 세상이 조금씩 변해가는 모습을 보여주는 정책성과통계는 공공행정가들이 실제 세상과는 괴리된 가상현실세계에 살게 할 수 있다. 통계와 관련된 이런 딜레마적인 부작용들은 단순히 통계체계와 운영의 오류에서 기인하는 것만은 아니다. 보다 근본적인 인식론적 한계가 근저에 숨어있다.
통계와 관련된 인식오류적 상황들은 문화재단의 업무 속에서 너무나 쉽게 목격된다.
(1) 산술합계와 종합 지수화 과정에서 하위 맥락이 소거되는 문제
: 지역문화실태조사와 지역문화종합지수의 지역 맥락 소거 사례
다양한 층위로 층화된 지역문화 세부지표들의 의미를 중앙정부에서 의미를 부여한 하나의 종합지수로 요약하는 것은 ‘평평한 세계를 상정한 인식론의 오류’의 결과로 볼 수 있다. 종합지수 산출 과정에서 각 지표들이 각기 다른 지역의 맥락 속에서 작동하는 의미와 맥락을 수집한 정보는 사라진다. 따라서 지역에 맞는 지역문화진흥 정책의 수립도 어려워지고, 증거기반으로 현실에 맞는 정책을 펼치겠다는 당초 이념이 무색해지기도 한다. 결국 종합지수로 전국 지자체의 순위를 매기는 효과가 너무 강력해서 이외에 지표조사와 지수화에 따른 다른 긍정적 효과를 기대하기 어렵게 된다. 이것은 인식론의 오류에 기반한 방법론적 오류가 철학적 딜레마로까지 이어지는 사례이다. 종합지수화로 지역문화 수준을 서열화하는 것은 지역문화의 다양성을 존중하는 법 취지와 배치되고, 현황조사 결과가 정책성과 평가로 활용되는 것은, 지역 간 문화 격차가 존재하기 때문에 정부의 지역문화진흥이 필요하다는 조사의 목적과 배치되는 것이다.
(2) 입장객 숫자 등 실증적인 문화정책 성과의 과학적 측정 불가능성 문제
: 실증적 성과지표의 실제 측정불가능성
실증주의에 기반 한 정책 평가에서는 정량적 데이터의 객관적이고 정확한 측정과 수집 자체가 가장 큰 문제가 된다. 공공문화기반 시설의 이용객 숫자를 제대로 파악하기 위해서, 카메라나 무선신호를 이용한 보다 정확한 측정 방법을 제시할 뿐 아니라, 근본적으로 ‘방문객’, ‘입장객’, ‘관람객’으로 세분화가 필요하다는 연구 주장이 있다(박근화·김지학(2019)(주5 참조)) 미술관 마당에서 진행된 물놀이 프로그램 입장객 숫자가 연간 미술관 총 입장객 숫자를 압도하는 상황 자체가 문제이다. 하지만, 이를 전시 관람 인원과 동일시하여 기관의 연간 운영성과로 합쳐서 발표한다면, 이 또한 층화된 실재를 인정하지 않고, 모든 숫자를 하나로 인식하는, 보다 근원적인 ‘평평한 세계관의 인식론적 오류’의 결과이다. 비판적 실재론 관점에서 보면, 이 문제는 공공문화시설에서 제공해야 할 문화서비스의 본질적 가치가 무엇인지, 그것이 어떻게 작동하는지에 대한 이해 없이 실증적 증거로 채택되는 지표들이 층화된 세계를 평평하게 정량화하는 인식론적 한계를 보여주는 사례이다. 통계 이전에 소위 문화서비스의 가치의 ‘발현’ 메커니즘에 대한 이해가 우선되어야 한다.
(3) 점증하는 통계조사결과에서 느껴지는 정책의 인과력에 대한 집착 문제
: 통계조사결과가 주는 압박감과 인과성에 대한 오해
문화부가 2019년 2월에 발표한 “2018 문화향수실태조사”에 따르면, 우리나라 국민의 지난 1년간 문화예술행사 관람률은 81.5%로 2016년 78.3% 대비 3.2%가 증가한 것으로 나타났다.
문화향수실태조사 결과 문화예술행사 관람률 변화 추이(단위: %)
<그림출처 : 2019.2.11일자 문화부 보도자료>공교롭게도 한국행정연구원이 발표하는 사회통합실태조사에 따른 국민들의 삶의 만족도도 2014년 이래 줄곧 0.1점씩 증가하는 결과를 보여주고 있다.
국민들의 삶에 대한 만족도
<그림출처: 사회통합실태조사(한국행정연구원, 2019)>
두 통계 조사에 대한 신뢰도 문제보다 이런 통계를 보는 행정관료들의 심리를 추정해볼 필요가 있다. 위의 통계지표와 관련되는 공무원은 저 지표들이 정책의 성과를 반영하는 듯한 압박감을 느낄 것이다. 국민들의 삶의 만족도는 복지국가를 지향하는 정부의 정책성과를 종합적으로 평가하는 듯한 압박감을 준다. 행정가들의 심리상태는 개인별로 편차가 있겠지만, 실제로 일부 지방자치단체장들은 위와 같은 통계의 지자체별 순위를 본인들의 치적으로 홍보하기도 하니, 통계가 주는 압박감이 없다고 할 수 없다.
연구자에 의한 통계 자체의 (의도적) 오류 가능성은 차치하고, 통계조사 결과를 정책의 성과로 인식하는 정책가의 인식 오류는 인과관계와 상관관계에 대한 오해와 집착에서 기인한다. 가치와 효과와 성과는 다른 차원의 것이며, 가치가 있는 것이라고 반드시 효과를 나타내지는 않는다. 그리고 나타난 효과 또는 변화의 전체가 특정 행위에서 기인된 것일 때만 그것을 인과적 성과로 인식하는 것이 타당하다. 영화관람 횟수의 기여도가 압도적으로 큰 문화향수 수준은 분명 공공 부문보다 시장의 영향이 더 크다. 마찬가지로 한 개인의 삶의 만족도는 매우 다양한 영역의 요인들이 종합적으로 작용한 결과이고, 그나마 이를 바꿀 수 있을 정도로 영향력이 큰 정책분야는 매우 한정적이다. 이처럼 개방체계인 현실세계에서의 변화가 특정 공공정책의 작용에 의한 것만은 아니라는 것이 자명함에도 불구하고, 이를 (특히 우호적인 변화는) 정책의 성과와 등치시키려는 인식적 오류와 통계관리자의 압박감은 부적절하게 연결된다.
숫자 확보 노력과 동시에 해석력 키우기가 필요하다
통계의 생산만큼 중요한 것이 조사된 통계 데이터의 변화와 정책 간의 인과관계, 그리고 세부 요인들 간의 상관관계와 엄정한 인과관계를 증명하는 것이다. 실재론적 관점을 적용한다면, 개방체계의 변화를 표현한 통계에 대해 정책의 인과성을 주장하려고 애쓰지 말고, 가추와 역행추론 등 초월적 논증법을 사용하여 숨겨진 인과관계를 이해하려고 노력하는 것이 더 바람직하다. 이성회(2018)의 지적대로, 실증주의에 기반 한 통계분석의 한계는 인과관계를 경험적 사건들 혹은 변수 사이의 상관관계의 ‘묘사’로 대체함으로써 막상 ‘왜’ 그러한 사건들이 발생했는지에 대해 충분히 ‘설명’하지 못하는 것이다. 통계조사결과를 바탕으로 뭔가를 개선하는 정책적 개입은 관련된 현상과 행위주체들이 움직이는 원리, 즉 다이나믹스(동학, dynamics)를 알고 나서야 제대로 된 처방과 혁신을 할 수 있다. 예를 들어, 문화향수실태조사 결과로 발표되는 시민들의 문화활동 참여빈도만으로는 매년 약간씩 증가하는 문화향수 빈도나 문화생활만족도를 통해 공공부문 문화정책 성공을 넌지시 암시하는 효과만 기대할 수 있을 뿐이다. 시민들의 문화활동이 어떻게 이루어지는지, 어떤 장애요소가 어떤 맥락에서 작동하는지 알아서 보다 실증적이고 과학적인 정책을 수립하는데 도움이 되려면, 조사된 통계 자체에 대한 정책의 인과력을 주장하려는 욕망을 버리고, 숨겨진 인과관계를 찾아서 문화활동과 그에 따른 가치가 생산되는 매커니즘을 이해하려는 노력을 기울이는 것이 중요하다.
통계를 넘어 초월적 상상력이 필요하다.
우리는 경험을 통해서는 귀납적 방식으로 우연적인 것의 규칙성을 발견할 뿐이다. 즉 시간상 연쇄적으로 발생하는 현상에 대해 인식주체가 인과성을 부여할 뿐이다. 실험실과 같은 폐쇄체계(close system)에서는 특정한 인과적 자극이 항상 동일한 결과를 만들어 낸다. 하지만 개방체계(open system)는 둘 이상의 기제들이 함께 작동하며 영향을 미치기 때문에 특정한 사건들이 연역적 법칙에 따라 정확하게 예측 가능하도록 발생하지 않는다. 과학적 탐구는 단순히 사건들의 규칙적 연쇄를 발견하여 ‘A이면 B이다’로 일반화하는데 그치지 않고 그 규칙성의 원인과 작동 방식을 설명하고자 한다. 이를 위해 실증주의 연구에서 많이 사용되는 귀납적 논증에서는 관찰된 현상의 수가 많을수록, 그리고 관찰이 행해지는 조건들이 다양할수록 그 결론이 참일 개연성이 높아진다. 하지만 정확한 추론을 위해서 얼마나 많은 관찰을 해야 되는지 결정할 수 없는 한계가 있다. 그리고 과거에 일어났거나 미래에 일어날, 즉 관찰 불가능한 사례는 추론에 사용될 수 없다는 점, 인간의 경험과 감각이 능동적 해석의 산물이기 때문에 객관적이지 못하다는, 근본적인 문제를 안고 있다. 이렇게 제한적인 관찰에서 도출된 결론을 참이라고 ‘경험적으로’ 논증할 수 없는 한계도 있다. 반면, 연역적 방법은 그것을 사용할 때 전제가 되는 보편법칙 또는 일반성을 갖는 지식 주장을 무엇으로부터 어떻게 만들어내는가를 설명하지 못한다. 이와 같이 실증주의 경험론에 근거한 연구방법은 논증의 타당성에 입각하여 이미 존재하는 이론을 검증할 뿐 새로운 이론을 제시하지 못한다. 경험적인 것과 논리적인 것을 넘어서 관찰할 수 없더라도 세계에 존재한다고 추정되는 실체들에 대한 추론과 이에 대한 초월적 논증과정을 통해서만 지식의 새로운 발견과 도약이 가능하다. 그와 같은 과학적 탐구가 ‘가추(abduction)’, 즉 왜 발생했을까, 발생시키는 시스템은 뭘까 하는 질문에서 시작되고, ‘역행추론(retroduction)’은 그런 사건을 발생시키거나 발행하지 않을 여러 가지 대안적 조건들을 제거해나가며 가장 설명력 높은 가설을 채택해나가는 검증 방법이다.
<그림출처 : 이기홍(2008), 서민규(2019)(주6 참조) 종합, 일부 수정>
정책연구가 이미 발생한 현상에 대한 자연과학적인 일반화를 넘어서 사회변화 메커니즘에 대한 ‘설명적 사회과학’을 지향한다면, “행위나 사회조직 같은 온갖 현상이 어떻게 가능한가?”라는 질문을 던지게 된다. 사건 X가 존재하고 그것이 바로 X이려면 무슨 속성이 존재해야 하는가? 또는 무엇이 X를 가능하게 하는가는 사회를 특정한 방향으로 변화시키고자 정책을 기획할 때 주로 던지게 되는 질문이다. 예를 들어 흡연과 폐암의 상관관계에 대한 경험적 관찰(귀납)로부터, 담배 성분 중에 폐 악성종양을 발생시키는 속성을 가진 물질이 포함되어 있을 것이라는 가설을 세우고(가추) 다시 경험적 관찰을 통해 그 물질의 존재와 작동기제를 입증하는 과정을 거쳐 새로운 지식을 얻을 수 있다. 다른 조건이 그 물질의 운동을 방해하지 않는다면 똑같은 병적 현상이 일어날 것인지를 검사하는 과정(역행추론)을 통해서도 폐암 예방에 필요한 새로운 지식을 얻을 수 있다. 기존의 연역과 귀납의 추론에는 논리적 추리능력, 통계 분석능력이 요구되었다면, 사건 발생의 매커니즘을 이해하는 가추와 역행추론을 위해서는 창의력과 상상력, 그리고 추상능력이 필요하다. 이런 측면에서 가추와 역행추론을 초월적 논증 방법이라고 부른다.
문화정책 연구에서 사실을 객관적으로 서술하는 계량화와 가치에 대한 철학적 논증 사이에서 매우 사려 깊은 균형 잡기가 필요하다. 윤견수(2008)(주7 참조)는 행정학 연구방법론의 다원화를 위해 인문학적 사유가 필요하다고 강조하기도 하였다.
문화재단의 일과 현장에서 숫자들과 의미 해석력이 만들어져야 한다.
위에서 언급된 통계들은 전형적으로 정책의 입장에서 조사설계와 데이터 수집의 효율성이 중요한 통계들이다. 하지만 문화소비 현장의 흐름에서 정책에 참조할 시사점을 찾아내는 데는 이해 관계자들의 행동에서 생산되는 빅데이터가 중요해진다. 하지만 현재 지역문화재단이 그런 데이터들을 수집할 플랫폼을 가지고 있지 못한 것이 현실이다. 그나마 창작자들과 관계 맺는 주요한 플랫폼에서도 빅데이터를 생산하지 못하는 안타까움이 있다. 현재 돈의 흐름만 관리하는 보조금관리시스템이 빨리 참여주체들의 데이터를 누적할 수 있는 사업관리시스템으로 바뀌어야 한다. 그리고 지역문화재단의 현장에서 가장 많이 생성되는 빅데이터는 이해관계자들의 “말”이다. 설계된 구조 대로 수집되는 데이터가 아니고, 비정형으로 수집되는 이런 데이터들을 해석하여 의미있는 정책을 만들어 내는 역량이 바로 지역문화재단에 있는 직원들에게 요구되는 역량이다. 이제 막 새로운 숙제를 시작하는 마당에 너무 큰 짐을 지우는 것 같지만, 기왕에 시작하는 걸음을 멀리 보고 내딛을 필요가 있다.
<각주, 참고한 문헌들>
주1. “문화정책의 소통가능성 제고를 위한 비판적 실재론(Critical Realism) 적용 방안에 대한 시론적 연구” (김해보․장원호, 문화정책논총 34집 2호, 2020) 내용을 발췌함
주2. 정책평가에 대한 비판적 실재론적 접근: 비판적인 다원주의 방법론의 가능성에 대한 고찰 (신희영, 2019, 정책분석평가학회보 29(2))
주3. 지방분권 시대의 대안적 교육정책평가 모델로서의 실제론적 평가(realist evaluation) - "정말 쓸모 있는" 교육정책평가를 위한 '이론적' 재음미 (이성회, 2018,, 한국교육사회학회 춘계학술대회 자료집) 등
주4. 행정이론의 한국화를 위한 연구방법 및 이론화 전략: 보편성과 특수성의 이분법적 흑백논리의 극복(권향은, 2017, 한국행정학보(51/2)) 등
주5. 공공문화기반시설 이용 현황 측정 방안 (박근화․김지학, 한국문화관광연구원. 2019)
주6. 21세기 유럽의 실재론자들-메이야수, 페라리스, 바스카의 실재론 비교연구(서민규, 동서철학연구(91), 2019, 377-401)
주7. 인문학적 성찰과 행정학 방법론(윤견수, 한국행정학회 하계학술대회, 2008)
