by
Apr 08. 2021
내적타당성과 외적타당성
공공정책 과정_지역정책결정의 정치경제 4
0. 들어가기
Valid는 유효한가이다. 유효하다는 것이 어느 프레임 안에서, 어떤 조건 안에서 이루어지는가에 따라서 타당한지 아닌지가 달라진다. 정책에서는 이러한 타당성이 매우 중요하다. 정책을 형성하는 과정에서는 내적다당성을 중심으로 진행하지만, 정책이 집행되는 과정에서는 외적 타당성을 고려할 수 밖에 없다. 오늘은 타당성에 대해서 정책과 비교해서 살펴보자.
변수간의 연관성이 논리적인 것을 살피는 것이 타당성이다
https://brunch.co.kr/@minnation/2387
1. 타당성
타당성이란 측정하고자 하는 바를 제대로 측정했는지에 대한 이야기이다. 영어로는 validity라고 표현한다. 보통은 실험설계를 할 때 가설이나 가정, 전제가 정확하게 검증할 수 있는가의 문제에서 의도한대로 제대로 측정이 되었는지를 알아보는 것이다.
2. 내적타당성 internal validity
내적 타당성은 연구설계를 할 때 변수들 간의 연결성이 올바른가이다. 다시 말하면 독립변수가 종속변수에 영향을 주었는가? 외생변수나 매개변수가 발생해서 그렇게 된 것은 아닌가?등등의 보는 것이다. 정책영역으로 들어가보자. 이 연구설계를 통해서 우리가 확인하려고 하는 정책의 효과를 파악할 수 있는가?와 같은 질문을 할 수 있다. 이러한 내적타당성을 낮추는 요인들은 다음과 같다.
1) 역사효과 historicism
사전사후비교법을 써 보면 t1시점에서 사전결과값이 정책이 집행된 t0시점 이후 t2시점에서 효과를 발생했는가를 살펴보는 것이다. 보통은 이런 부분을 역사속에서 분석할 때 주로 쓰인다. 역사효과라는 것이 있는데 일정한 '역사적 사건'이 다시 발생하지 않기 때문에 비교대상이 없는 것이 '내적타당성'을 분석하는데 힘들어지기도 한다.
2) 성숙효과 maturitism
성숙효과maturitism가 있다. 시간이 지나면서 자연적으로 변화되어서 타당성을 분석할 수 없는 때이다. 의약품의 경우 자연적으로 낫는 것인지 아니면 감기약을 먹어서 나은 것인지 알수 없다. 군대다녀온 남자들이 철이 들었다고 할때 그것이 군대때문인지 나이를 먹어서인지 인과관계를 알 수 없다. 시간이 지나면서 자연스럽게 변화가 일어나는 것은 성숙효과 때문에 내적타당성을 확인하기 어렵다. 이것을 구분하기 힘들기 때문에 성숙효과가 있는 연구는 내적타당성이 낮을 수 밖에 없다. 내적타당성 설계는 성숙효과, 역사효과 등등의 변수로 인해서 내적타당성이 낮아질 수 있고, 이것은 정책을 보면 더욱 뚜렸하다.
3) 테스트효과 testing / 검사효과
보통은 효과를 체크하기 위해서 테스트를 진행한다. 그런 문제는 테스트의 낮이도가 일정한가이다. 또한 테스트를 통해서 의지와 노력이 함께 포함되어 버린다. 테스트를 한다는 것 때문에 효과가 달라지는 것이다. 그래서 보통은 '실험'을 인지하지 못하도록, '테스트'를 인지하지 못하도록 만드는 것이 중요하다.
4) 도구효과 instrumentation / 측정수단 효과
도구효과는 측정하는 사람이나 도구를 바꿀 때 다른 결과가 나오는 것을 말한다. 보통 체중을 집에서 재면 어느정도가 나오는데, 다른 곳에서 재면 몸무게가 느는 것이다. 도구가 다르니깐 내적타당성이 달라지는 것이다. 또한 측정하는 사람의 스킬이나 태도, 능력에 따라서 결과가 달라질 수도 있는 것이다.
5) 인공회귀 regression artifact / 회귀효과
어떤 변화 속에서 특이한 점(아웃라이어)가 발생했는데 어느 변수가 회귀하게 만들었는지 알 수 없는 것을 말한다. 성적이 좋던 학생이 갑짜기 성적이 안 좋아져서 과외를 했는데 성적이 올랐다면 이것은 과외 때문인가? 아니면 학생이 실수한 것을 만회한 것인가? 보통 시정을 운영할 때 어떤 문제가 생기면 여론이 좋지 않게 되는데, 이 때 문제해결을 하려고 공무원들이 활동을
6) 선발효과 selection bias / 선택편의 효과
비교군과 실험군이 원래부터 다른 집단이었을 가능성이 높다. 좋은 효과가 나타나는 것은 결국 좋은 효과를 나타낼 수 있는 사람들을 선발했기 때문이다. 그러니 선발하는 데서 부터 효과가 이미 예상이 되는 것을 말한다. 또한 선택편의는 우리를 매우 오판하도록 이끌어갈 수 있는 문제가 발생하기 때문에 잘 염두해 두어야 한다.
7) 실험대상 망실율 experimental mortality / 상실효과
처음 실험을 설계하고 진행할 때와 결과를 얻을 때 경험하는 실험 손실효과가 달라지는 것을 말한다. 처음에 300명을 실험군으로 진행했다가 나중에 결과를 측정할 때 30명이 손실되었다면 효과성을 측정하기가 힘들어 진다는 것이다. 따라서 이러한 자료의 왜곡에 대해서 분석할 때 어떤 일정한 이유가 있는지를 확인해보는 것이 매우 중요하다고 할 수 있다. 변호사 시험을 본다고 할 때 로스쿨에서 졸업시험을 변호사시험만큼 어렵게 낸다고 하면 졸업을 한 사람들은 대부분 변호사 시험을 통과할 가능성이 커지기 때문이다. 실험집단 망실에 가깝다.
3. 외적타당성 exteral validity
내적타당성과 다르게 외적타당성은 일반화가 가능한가이다. 다시 말하면 연구의 결과가 다른 상황에서도 동일하게 나타나는가?의 문제이다. 따라서 적용대상과 시점, 상황의 확장에 대한 문제가 발생할 수 있다. 대부분의 실험은 외생변수를 통제하고 내적타당도를 높이기 위해서 설계되기 때문에 외적타당성을 높이기 위한 노력이 없다면 타당성이 동일한 집단이나 조건적으로만 가능하게 되는 것이다.
이러한 상황에 대해서 실험의 방법에 따라서 내적타당성과 외적타당성이 달라지고 실현가능성도 달라진다. 측정을 할 때도 그렇지만 설계를 할 때 실험을 어느정도 수준에서 정할 것인가가 그래서 중요한 것이다. 이러한 의도, 효과에 대한 예상, 측정방법, 대상의 변화 등등의 문제들을 고려해서 내적 타당성을 높일 수 있게 된다.
