[160825] 국제개발협력 NGO 평가역량강화 워크샵
주요 내용 요약
다음은 2016년도 8월 25일 서울대학교 행정대학원 국제개발협력평가센터(CIDE)에서 진행한 평가역량강화 워크숍의 주요 내용을 요약하여 정리하였다.
Session 1: Impact Evaluation (서울대학교 행정대학원 이석원 교수)
평가의 역할은 무엇인가? 정부 정책 혹은 프로그램에 대한 평가를 수행해야 하는 이유는 무엇인가?
정부(government)의 반대는 시장(market)이다. 시장에서 소비자(consumer)들은 market mechanism에 의해서 상품이 자신에게 주는 가치(value)에 따라 소비하고, 시장은 그러한 소비자들에 의해서 평가되고 자체적으로 조정된다.
하지만 정부에는 이러한 시장적 기능이 존재하지 않는다. 그러므로 자체적으로는 정부가 생산하는 상품인 정책(policy), 제도(institution), 그리고 프로그램/프로젝트의 부가가치(added value)인 '국민들의 삶의 실질적인 변화(change)'에 대한 평가가 이루어질 수 없다. 즉, 정부의 상품에 영향을 받는 소비자인 국민들은 자신들의 세금(tax)으로 실행되는 정책을 선택할 수 없다. 이러한 상황하에서 정부에 시장적인 기능을 부분적으로 대체할 수 있는 것이 바로 평가(evaluation)이다. 예를 들어, ODA program이 발생시킨 부가가치(수원국에 발생시킨 가치, 변화)에 대한 평가를 통해서 program quality를 control하고, program을 수정 및 보완한다. 그런데 현재 우리나라에는 program에 대한 평가의 목적이 lesson learning(학습)이라기 보다는 audit(감사)의 기능으로 담당자의 accountability(책무성)을 점검하는 것을 목적으로 많이 시행되고 있다.
* 미국에서는 공공정책에 대한 '평가(evaluation)'를 '정책 기업가정신(policy entrepreneurship)적 활동'으로 보고 있다. 정부의 산물인 공공정책이 발생시킨 부가가치를 평가하고 정책을 수정 보완하는 작업이다.
Session 2: Theory Based Evaluation (이화여자대학교 행정학과 강민아 교수)
(세션 불참)
Session 3: Theory and Practice of Evaluation-Utilization of Evaluation Tools (한국수출입은행 경협지원실 강경재 선임연구원)
* 본 내용은 한국수출입은행(EDCF)의 의견과는 무관하며, 아래의 사례들은 가설임
1. 에티오피아에 ODA자금을 지원하기 전에 exit-strategy가 있는지 물어보니, 다른 donors들을 찾아서 지원요청을 하면 된다고 했다 → 이제껏 많은 donors들이 지원을 하다보니 자생적으로 발전을 하고자하는 의지를 갖기 보다는 타 공여국들에 의존하게 된 것 같다.
2. 공여국(donor)들은 보통 장기 사업보다는 단발성 사업 혹은 프로그램을 지원하고 이동하지만, NGO들은 현지인들과 1:1로 보다 오랜 기간 사업을 진행할 수 있기 때문에 평가를 하기에 더 유리한 위치에 있다. 또한 우리나라 ODA기관들은 주로 책무성 차원에서 원조활동에 대한 평가를 하다보니 평가환류를 통한 학습이 잘 이루어지지 않는다. 하지만 NGO들은 이러한 책무성을 지니지 않고 있으므로 보다 자유롭게 측정하고자 하는 바를 평가할 수 있다.
3. 한 공여국에서 대규모 재원으로 ODA를 지원하는 것이 쉽지 않으므로 현재는 타 공여국 및 국제기구와의 partnership을 형성하여 사업을 진행하는 경우가 증가하고 있다. 예를 들어, 베트남에 고속도로를 건설한다면 구간별로 다른 공여국들이 함께 지원할 수 있다. 이러한 partnership 사업의 경우 문제점은 각 기관마다 입찰시기, 시공기간, F/S기간, 과정, 진행기간 등에서 차이가 있으므로 우리나라가 성공적으로 도로를 건설했다고 하더라도 다른 공여국 구간의 도로가 완공되지 않아서 몇 년이 지나도 도로가 개통되지 않는 경우가 있다.
4. 원조사업을 진행하다보면 의도한 결과(intended outcome)뿐만 아니라 의도하지 않은 결과(unintended outcome)들을 나올때가 많다. 이 때, 의도하지 않은 결과와 그 원인들은 파악하기가 쉽지 않다. 현재는 이러한 문제를 해결하기 위한 대안으로 큰 그림을 볼 수 있는 인류학자들과 협업하여 평가를 진행하는 추세를 보이고 있다. 또한 goal-free evaluation이라고 해서, 평가의 목적을 처음부터 정하지 않고 사업 대상에 대한 관찰을 통해 관찰결과를 해석하는 가운데 평가 목표 등을 정하기도 한다.
5. Stame(2010)에 따르면 평가가 실패하는 원인은 크게 'program theory failure(program assumption상의 문제)/implementation failure(현장에서 집행상의 문제)/methodology failure(측정상의 문제)' 세 가지로 구분할 수 있다.
6. 최근에는 randomized evaluation과 theory-based evaluation의 mixed evaluation methodology를 사용하여 평가를 진행하는 경우가 많다. randomized evaluation은 가설검증(실험방식)을 통해 가설이 참인지 혹은 거짓(service의 결과)인지 여부를 파악할 수 있게 한다. randomized evaluation의 장점은 측정상의 오차 등을 최소화하여 사업의 결과가 발생시킨 부가가치를 보다 잘 파악할 수 있다. 반면, 가설이 거짓이라면 왜(why?) 어떻게(how?) 등의 이유는 black box로 가려져 있으므로 파악할 수 없다. theory-based evaluation은 각 theory of change상의 sequence별로 평가를 진행하기 때문에 black box 상의 인과관계를 파악하고 검증할 수 있다는 장점이 있으나 backbone theory를 수립하는 것이 어려우므로, backbone thoery를 그려주는 facilitator의 역량이 매우 중요하다.
7. Theory-based evaluation의 중요성: 이론기반평가를 수행하지 않으면 왜 이 사업이 실패를 했는지, 개선해야할 부분들은 무엇인지를 파악할 수가 없다.
예1) supply of clean water → access to clean water → utilization to clean water → reduced water-born disease : 동 사업의 경우 우물을 지음으로써 utilization to clean water 단계까지는 성공했지만, 실제로 의도한 결과인 reduced water-born disease가 일어나지 않았다. 왜 이러한 결과가 나타났는지 theory of change 단계별로 확인해보니 물을 긷는 bucket과 손이 지저분하여서 수질관련 질병이 줄지 않았다는 사실을 알게 되었다. 왜 손과 bucket을 씻지 않느냐고 물어보니 어차피 물에 닿는 것이니까 씻지 않는다고 답하였다고 한다.
예2) supply of vaccine campaign → parents' attitue → child vaccinated → body's reaction → disease prevention : 예를 들어, 아이가 백신주사를 맞았는데도 항체가 형성되지 않은 경우가 발생할 수 있다. 이 경우에는 child vaccinated 단계까지는 성공했지만, 외국인이 아이들의 입을 벌려서 구강안에 백신약을 투여하는 과정에서 아이들이 울고, 백신을 삼키는 것이 아니라 뱉어내는 상황에서 백신투여 행위는 일어났지만 제대로 투여가 되지 않았기 때문에 동 사업이 실패한 것으로 볼 수 있다.
예3) Chickens given to women/Feeds, vaccination, etc → chicken grows and lay eggs → (1) egg consumed → better nutrition status of children/(2) egg/chicks sold → better income : 방글라데시에 eggs와 chickens(흰색 서양닭)을 여성에게 지급하면 여성들이 eggs와 chickens를 팔아서 income을 증진하고, eggs를 소비함으로써 아이들의 영양상태가 증진될 것으로 기대하였지만, 'chicken grows and lay eggs' 단계가 이루어지지 않았다. 현장에 가서 이유를 살펴보니 방글라데시에 있는 닭들으 토종닭으로 색깔이 검고 크기가 작아서 매, 여우 등의 눈에 잘 띄지 않을 뿐더라 모이를 많이 먹지 않는다. 하지만 지급된 닭들은 크기가 크고 흰색이어서 매에 잡혀먹히는 경우가 빈번했고, 몸집이 커서 쌀을 많이 섭취했다. 그래서 현지인들은 매에 잡혀먹히거나 식량을 많이 축낼바에는 자신들이 잡아먹고자 하여서 닭들이 자랄 수 없었고 알을 낳을 수 없었던 것이었다.
