실험설계의 종류

공공정책 과정_지역정책결정의 정치경제 5

0. 들어가기

어떤 시점에서 실행한 정책이 일정시간이 지난 시점에서 효과를 나타냈는지에 대해서 성공과 실패를 정의하는 것은 애매하다. 왜냐하면 그 정책을 안했을 때 어떤 수준으로 변화할지 모르기 때문이다. 그렇기 때문에 실험을 할 때는 실험집단experimental group과 통제집단control group으로 나누어서 진행한다.

1. 실험의 종류

진실험은 실험집단과 통제집단에 있어서 두 집단의 시작점이 같을 때이다. 따라서 진실험을 하게 되면 실험결과값이 정책의 효과를 그대로 드러난다고 할 수 있다. 따라서 진실험에서는 가장 중요한 것은 실험집단과 통제집단의 처음의 조건을 어떻게 같게 만들고 시작할 것인가이다.

준실험은 진실험 방법을 쓸 수 없는 경우에 최대한 변수들을 제거하여 알고 싶은 변수만 살려두는 것을 말한다. 준실험에서는 실험집단과 비교집단을 사용한다. (진실험에서는 실험집단과 통제집단을 가진다.) 비교집단은 최대한 실헙집단과 비슷한 환경과 조건을 갖춘 집단이라고 할 수 있다. 물론 이 부분도 완전히 똑같을 수 없기 때문에 최대한 맞추려고 한다는 의미에서 '준'실험이다. 준실험에서는 심리적인 효과도 들어나는데, 플라시보 효과와 같은 부분들이 내적타당성을 떨어뜨리게 된다.

그러나 현실에서는 이러한 진실험이나 준실험은 비용이 많이 들어각고 결과를 얻기에도 쉽지 않아진다. 그래서 준실험설계에서 보완적으로 비동질적 통제집단이라도 설정하던지 회귀분석이나 시계열자료를 가지고 변화값을 측정하기도 한다. 물론 반복설계를 하기도 한다. 특히, 자연과학에 기반한 실험이 아니라 공공정책과 같이 사회과학의 경우에는 진실험은 고사하고 준실험도 하기 힘들어 진다. 따라서 통계자료를 통해서 데이타분석을 하는 것이 일반적이 된다.

통제집단과 비교싲단을 설계할 때 관찰시점을 설계하고 실험효과를 무엇으로 볼 것인지를 설정해야 한다. 어찌되었든 내적타당도를 생각할 때 실험을 설계하는데 있어서 반드시 있어야 하는 부분은 논리적인 연관성이다. 독립변수와 종속변수간의 연결이 논리적일 수 있어야만 내적타당성이 높아진다고 볼 수 있다. 어떤 실험이 효과를 발휘했는지를 알아보기 위해서는 상당한 평가기준과 비용이 발생한다. 특히 사회적으로 발생하는 효과들을 측정하려면 천문학적인 비용이 발생하는 경우도 있다. 효과에 대해서 역사에는 가정이 없듯이 이 사업이나 정책을 수행했을 때와 하지 않았을 때 결과를 비교할 수 없다.