KOICA 종료평가 평가보조원의 업무: 통계분석
KOICA Evaluation: Statistical Analysis
기나긴 평가의 마무리가 이루어졌습니다. 이번 평가사업에 참여하면서 보니 코이카를 비롯한 다양한 원조기관에서의 국제개발협력 사업의 평가에서 양적평가를 통한 인과성 검증을 요구하는 경향성이 짙어진 듯했습니다. 기존의 질적 평가를 통한 인과성 검증은 한계가 존재하였기 때문입니다. 물론 퍼지셋 연구방법론을 기초로 하여 질적연구에서 인과성 검증을 발전시키려는 시도는 있습니다(최영준, 2009). 하지만 아직까지는 주류화되지 않은 시점에서 RCT의 인과성 검증, DID, PSM, Panel Analysis의 준인과성 검증은 과학적 접근을 더욱 강조하기에 많이 요구되는 측면이 있습니다. 이에 어느새 트렌드가 되어버린 양적평가를 위한 설문조사와 통계분석에 있어서 몇 가지 느끼는 바가 있어서 정리하였습니다.
개발협력 양적평가 과정에서 고려해야 할 점
1. 컨설턴트 고용: 지인 vs 사무소추천
데이터를 수집함에 있어 가장 효율적인 방법은 컨설턴트를 고용하는 것입니다. 제 사수형님의 네트워킹 역량으로 인해 매우 좋은 분들과 작업을 하였습니다. 네팔의 컨설턴트는 일본에서 개발경제학을 전공한 분이셨고, 이에 따라 개발협력 평가에 대한 이해도가 높았습니다. 또한, Survey CTO를 프로그래밍할 수 있는 인력을 갖추고 있었습니다. 키르기스스탄의 컨설턴트 역시 다양한 국제기구와 협업하여 사업 수행, 평가를 해본 경험이 있었고, Kobo Tool Box를 활용하는 프로그래머 현지인력풀을 구축하고 있었습니다.
덕분에 데이터 수집이 매우 짧은 시간 내에 이루어질 수 있었습니다. 적절한 컨설턴트와 접촉하여서 데이터를 수집하는 것 역시 개발협력 평가 프로그램을 운영하는 사람의 역량이라고 생각합니다. 평가를 수행함에 있어 네트워크를 잘 구축해 놓는 전 단계가 역시 중요하다는 점을 다시금 느꼈습니다.
사실 네트워크가 형성이 잘되어있지 않다면 사무소를 통한 추천이 이루어지기도 합니다. 다만, 해당 풀은 직접 검증하지 않은 컨설턴트가 연결이 되어있기도 하고, 국제기구에 비해 낮은 예산으로 사업수행을 하다가 비용 재협상을 요구하는 경우도 많습니다. 재협상을 통해 증액시켜 주더라도 약속된 데이터 수집 목표치를 안주는 경우도 있습니다. 이에 컨설턴트 고용은 되도록이면 검증된 인력을 활용하는 것을 권장합니다.
2. 데이터 수집: Survey CTO vs Kobo Tool Box
최근의 데이터 수집 트렌드는 종이로 설문조사한 후 엑셀에 수기입력하는 방식에서 Kobo Tool Box, Survey CTO로 귀결되어가고 있었습니다. 이는 두 가지 툴이 한번 배워두면 작업하기 쉬운 코딩방식, 원하는 선택지를 입력하지 않으면 넘어가지 않는 강제성, 빠른 데이터 트레킹, 조사원(Enumerator)의 책무성강화 등의 장점을 가지고 있기 때문입니다. 그중에서도 Survey CTO는 독보적인 위치를 차지하고 있는데 이는 WorldBank에서 주로 사용하는 툴이기 때문입니다. Survey CTO는 iOS 유저를 위한 어플도 제공하며, 실시간으로 확인할 수 있는 설문결과 등을 장점으로 급성장세를 이루고 있습니다. 개발협력 평가를 수행하고자 하는 입장이라면 Survey CTO 툴을 배워서 다양한 곳에 적용할 수 있는 준비를 하는 것이 좋다는 생각이 들었습니다.
3. 데이터전처리 및 시각화: Stata vs R vs Python
Survey CTO나 Kobo Tool Box를 사용한 이후 xlsx csv 등으로 출력된 파일들을 전처리하고 분석하는 데 있어서 가장 효율적인 툴을 선택하는 것 역시 고민해야 하는 지점입니다. 데이터를 다루는 입장에서 각각의 통계프로그램마다 장단점이 존재하여 해당 장단점을 소개하고자 합니다.
Stata: 개발협력 자료 통계분석에 있어서 매우 효과적인 툴입니다. 통계분석을 하는 분들이라면 Stata의 편리함을 이미 아실 것으로 생각합니다. 일단 직관적인 코드 구성, 통계 전문가들이 설계를 하기에 가장 신뢰 가는 통계프로그램이라고 봐도 무방합니다. 개발협력 평가전문가들 역시 Stata를 기반으로 많은 분석들을 하고 있으며, 실제로 J-Pal에서는 해당 프로그램을 기반으로 시험을 치르기도 합니다. 다만 해당 툴의 경우 데이터 전처리나, 데이터 시각화에 있어서 최근에 나온 R, Python을 따라가는 것은 어려울 듯보입니다. 특히 국문자료의 경우 Stata 유저 수가 가장 적다 보니 모르는 상황이 있을 때 영어로 검색해야 하는 경우가 많고, 참고할만한 코드가 적습니다.
R: 현존하는 통계프로그램에 있어서는 최강자의 측면이 있습니다. 데이터 전처리도 쉽고, 데이터 시각화, 분석에서 모두 강점을 가지고 있습니다. 다만 타 통계분석 프로그램에 비해 다양한 패키지(Package)의 존재로 인해 언어 난이도도 어렵고, 대부분 영문자료를 기반으로 하기 때문에 열심히 혼자 공부해야 한다는 문제가 존재합니다.
Python: 최근 들어 가장 사용자가 많은 프로그램입니다. 해외 개발협력기관에서도 역시 Python 유저를 많이 구하고 있습니다. 이는 결국에는 현재 트렌드가 통계분석을 넘어서 AI를 활용한 분석으로 넘어가고 있기 때문이라고 생각합니다. 이에 따라 국문자료가 많아서 향후 개발협력 평가전문가들 중에도 Python 유저분들이 늘어날 것으로 생각합니다. 다만, 해당 프로그램이 통계분석을 목표로 만들어지지 않았다 보니 R이나 Stata에 비해 현재까지는 개발협력 데이터 분석에 있어서 아쉬움이 존재합니다.
아래는 위의 내용을 정리한 표로 개인적인 사용경험을 토대로 작성하였습니다. 저의 경우에는 R을 가장 많이 사용하였으며, Stata는 데이터 분석을 위한 기초 통계제공을 하였고, Python의 경우 사용가능성을 점처보는 정도로 활용하였습니다. 해당 표를 참고용을 활용하여, 평가를 위한 툴을 적절하게 선택하는 것을 권장합니다.
4. 인과성 검증(RCT, DID, PSM, IV, RD, Pandel analysis)
개발협력 사업 평가를 요구하는 측에서 원하는 결과물은 간단합니다. "사업이 잘 되었죠?"를 입증하는 것입니다. 사업비를 집행하였기 때문에 좋은 결과를 기대하는 것은 당연합니다. 하지만 지금까지의 개발협력이 투입 대비 산출값이 좋지 못했던 이유는 위와 같은 사실을 알고 평가자들이 발주기관이 원하는 대로 사업이 좋다고 그들이 원하는 답변만을 제공하며 눈을 가려두었기 때문이라고 생각합니다.
최근에는 이를 발주기관에서도 알기에 좀 더 책무성 있는 자료를 제공하고자 양적평가를 실행하고자 하는 평가 용역기관에게 사업선정을 하는 경우가 많습니다. 그리고 변화이론(Theory of Change, 이하 ToC)의 비작동 작동요인을 검증하는데도 통계분석을 통한 증거자료 제공은 평가에 신뢰성을 더합니다. 이에 저희 평가팀에서도 제안서에 양적평가를 실행하겠다고 제안하였고, 이로 인해 제게 두 개 사업의 준인과성 검증을 위한 통계분석의 업무가 할당되었습니다.
이상적으로는 무작위 추출 검정(Randomized Control Treatment, 이하 RCT)을 통해 입증하는 것이 좋지만, 사업실행단계에서부터 데이터를 모아서 사업최종점검단계에서 동일데이터를 수집해야 하는 것이 매우 어렵기 때문에 자주 수행되지는 못합니다. 이를 보완하는 측면에서 수혜군과 비수혜군의 비교를 통한 준실험설계 방법론으로 이중차분법(Difference-in-difference, 이하 DID), 성향점수매칭법(Propensity Score Matching, 이하 PSM), 도구변수법(Instrument Variable, 이하 IV), 회귀단절모형(Regression Discontinuity, 이하 RD) 혹은 패널분석(Panel Analysis)을 수행가능합니다.
각각의 방법론에 대한 설명은 개발협력 실증연구사례에서 좀 더 자세한 설명을 하고 여기서는 현지 상황에 따라서 방법론을 채택하는 방법을 설명드리겠습니다.
- DID: 사업 전후의 데이터가 존재하여 시간을 포함하여 사업의 명확한 효과를 측정하고 싶다.
- PSM: 유사한 성질을 가진 사람들의 데이터가 존재하고 사업 유무에 따른 효과를 분석하고 싶다.
- IV: 사업수혜자들 중에 실제로 사업에 참여하지 않은 사람이 있어서 좀 더 정밀한 분석을 필요로 한다.
- RD: 주요 결과를 그래프로 시각화하여서 사업 수혜로 인한 차이를 보여주고 싶다.
- Panel Analysis: 여러 사업시기가 존재하기 때문에 이로 인한 연도별 효과를 삭제하고 싶다.
위의 목적은 이런 상황일 경우 해당 방법론을 적용하기에 적절하다는 것이고, 각각의 방법론은 상호호환 가능하며, 공통적으로 적용하여 분석하는 것도 가능합니다. 저희 사업의 경우에는 사업 전후의 데이터, 가구별 특성데이터가 존재하여서 DID, PSM 방법론을 모두 적용하여 분석하였습니다. 다행히 현지 사업지를 방문했을 때도 사업이 성공적으로 관측되기도 하였고, 통계자료의 상태도 좋아 짧은 시간 내에 사업의 효과가 있다는 것을 입증하였습니다. 하지만 사업의 상황이 안 좋았을 때 사업으로 인한 효과가 없었다고 결론을 낼 수도 있습니다. 상황이 안 좋았다면 왜 안 좋았는지 요인을 설명하고, 그 요인을 해결하는 것이 이후 사업에서 필요하다는 것을 제언사항으로 제공해야 합니다.
나가며
개발협력 양적평가를 수행하고자 하는 평가보조원들에게 해당 글이 도움이 되길 바랍니다. 통계방법론을 배운 것을 응용하는 것은 배우는 과정만큼이나 어려웠지만 의미있는 경험이었습니다. 그동안 바랬던 평가사업에 참여하고, 이차자료만 사용하다가 일차자료를 수집하고 분석해 봤다는 점에서 매우 즐거웠습니다.
해당 분석에 있어서 다양한 사람들의 도움을 많이 받았습니다. 좋은 기회를 주신 교수님, 같이 밤을 새우면서 작업을 도와준 제 사수 형님, 방법론의 적용 및 평가에 대해서 아끼지 않은 조언을 해주신 연구실의 박사과정 형님들, 유사사업을 수행하였던 타 연구실의 평가보조원 형님들, 항상 따뜻한 조언을 해주시는 박사님들, 데이터 시각화에 가장 큰 도움을 주셨던 땡스데이터 요한님 등에게 다시 한번 감사의 뜻을 전합니다.
<참고문헌>
최영준. (2009). 사회과학에서 퍼지셋 활용의 모색: 퍼지 이상형 분석과 결합 요인 분석을 중심으로. 정부학연구, 15(3), 307-336.
허윤선, 정지선, 이주영, 유애라, 윤상철, 이종욱. (2017). ODA 성과평가 개선방안과 정책과제-영향력평가를 중심으로 대외경제정책연구원 연구보고서 17-16.
