[국제개발협력] 궁금한 이야기 "평가"
모니터링이랑 평가가 어떻게 다른데?
지난 글 <꼬리에 꼬리를 무는 “모니터링”>에서는 모니터링에 대한 필자의 솔직한 의견을 담아보았다. 모니터링과 마찬가지로 평가에 있어 가장 기초적인 부분은 ‘기관의 가치와 사명에 사업의 내용이 얼마나 부합하는가’이다. 사업을 마무리하는 단계에서 예산 사용내역을 정산하고, 지표값을 측정하고, 설문지/인터뷰를 통해 양적, 질적 확인을 하는 사업 평가(Evaluation) 과정을 통해 우리가 최종적으로 얻고자 하는 것은 무엇일까? 오늘은 ‘평가’에 대한 필자의 생각을 전해보려고 한다.
평가는 객관적인 방법을 통해 적합성, 성과 및 부족한 부분들을 찾아내어 다음 사업에 제언을 하는 단계이다. 평가에 있어 기관이 추구하는 것이 ‘질적인 부분인지, 양적인 성과인지’를 분별하고 사업 수행미션은 ’무엇에 베이스를 두고 있는지’를 이해하는 것이 매우 중요하다. 이러한 기반이 갖추어지면 ‘사업 전체를 통해 변화를 일으키고자 하는 것이 무엇인지’가 보이고 예상치 못한 지표를 발견하게 되며, 장·단기적인 산출물과 전략이 정리되는 것을 보게 된다. 그런데 (기술적인 측면에서의 평가 툴을 조정하는 것이 우선시되고) 이러한 부분은 무시당하기 십상이다.
필자는 평소 평가 단계에서 중요한 것은 ‘지표 뽀개기, 평가 방식의 구별, 레슨런과 제언’이라고 이야기한다. 가장 먼저 지표에 대한 이야기를 시작하기에 앞서 지표에 대한 스트레스를 안고 살아가는 실무자들의 마음에 넘치는 공감을 표한다... 애석하게도 그럴수록 실무자는 그 지표를 더 가지고 놀고 친숙해져야 그 스트레스로부터 벗어날 수 있다는 생각. 심지어는 지표를 뽀개는(?) 훈련도 해보아야한다.
아래는 간단한 예시들이다.
[예시 1] 산전 검사 및 산후 검사
산후 검사는 4주 이내 1회 이상을 대표 지표로 설정하는데, 산후 보통 1회는 검사를 위해 방문하기에 100% 달성이라고 할 수 있다. 그러나 더 깊이 있게 사업을 살펴보기 위해서는 산후 1주 이내, 4주 이내, 3달 이내에 방문하지 않은 경우로 나누어 분석하고 또 그 이유를 살펴볼 필요가 있다. 산전 검사의 경우, 월 1회 기준 8회가 목표 지표인데, 산모가 총 몇 회의 검진을 하는지, 또 언제 병원을 방문하기를 선호하는지, 그 주기와 횟수를 파악하고 분석하면 흥미로운 결과를 얻을 수 있다.
[예시 2] 1차 보건시설 의약품
1차 보건시설의 경우 WHO가 제안하는 8개의 필수 의약품 명단이 있는데 그 8개가 채워졌는가, 안 채워졌는가를 넘어서 ‘몇 개가 확보되고 있는지, 선호하는 의약품은 어떤 것인지, 그 수요가 충분하며 관리상태는 어떠한지’를 확인해야 한다. (‘8개 구비완료’라는 말만으로 사업을 마무리하려는 습관은 버리자.)
위와 같은 연습을 통해 우리는 결국 사업의 성과를 만들고 공유하기 위해서는 현장과의 부단한 소통이 필요하고, 본부에서는 내부적인 미팅을 통해 그 효과성을 계속 짚어보는 습관이 필요하다는 것을 깨닫게 된다. 이러한 수준으로 나아가기 위해서는 사업을 ‘사업비 입금→송금→사업 착수→중간보고→결과보고→정산’이라는 페이퍼워크 정도로만 바라보는 습관 또한 버려야한다.
두 번째로, 평가 방식은 사업의 규모와 기간 및 영역에 따라 다르다. 사업 진행에 있어 프로그램적인 사업과 인프라 구축사업의 진행 방식이 다르듯, 평가 과정에 있어 다양한 평가 툴을 단 한 가지의 획일화된 툴로 이해하고 적용하면 오류가 나기 마련이다.
사업의 규모에 있어 1천만 원 이하의 사업과 10억 원 이상의 사업 평가가 다르듯, 사업기간이 1년이 안 되는 단기간의 사업과 2년 이상의 다년도 사업의 평가 주기와 지표 역시 다르게 설정해야 한다. 단기 사업의 경우 장기 산출물보다는 단기 산출물에, 긴급구호의 경우 임팩트 평가에 중점을 두어야 한다. 재난경감사업(DRRR)의 경우, 교육 및 시설 지원의 여부로 평가를 끝내는 것이 아니라, 재난이 발생했을 때 과연 어떻게 피해를 줄이고 대응에 만전을 기했는지 임팩트 평가를 해보아야 사업의 효과성을 입증할 수 있다.
또한 교육, 보건, 생계, 긴급구호 등 각 영역의 고유한 지표들의 측정과 평가의 척도가 다름을 인지하고 있어야 한다. 그렇지 않으면 대부분의 평가의 목적이 ‘삶의 질 향상’이라는 평이한 내용으로 수렴할 가능성이 있다.
아동교육 사업을 진행하고 있다고 가정해보자. 아동‘교육’사업을 전개하고 있는 것이라면 평가 지표를 교육 지속성 및 효과성에 두는 것이 타당하다. 하지만 만약 평가 지표를 아동이 다니는 학교의 전반적인 것에 둔다면 평가의 대상이 학교 보건 혹은 아동 영양 등으로 흘러가기 쉽다. 그렇기에 부수적인 활동으로 시너지 효과를 얻는다고 해도 아동교육 사업이라면 대표 지표를 그 ‘교육’의 성과로 설정하는 것이 중요하다.
예를 들어, 학교에서 구충제를 제공하면 학교에 나오지 않던 아이들도 학교에 나오기 시작한다. 또한 급식을 무상으로 제공했을 때도 아동의 출석률이 높아진다. 그렇지만 구충제를 주는 궁극적인 목적은 아동의 기생충 감염과 질환을 예방하는 것이지 학교 출석률을 높이는 것이 아니다. 또한 무상급식으로 인해 아이들이 학교에 나온다고 해도 급식 사업의 목적이 아동의 영양개선 및 성장이 되어야지, 출석률 향상이라고 하는 것에는 (틀린 답은 아니지만) 모호함이 있다. 쉽게 말해, 모기장을 제공하는 주 목적은 말라리아 예방이 되어야 하는데, 모기장으로 주민들이 강가에서 물고기를 잡는다고 모기장 제공의 단기 산출물이 (물고기를 잡음으로 인한) 소득증대라고 하는 건 어불성설이다.
마지막으로 평가단계에서 중요한 것은 레슨런과 제언이다. 필자가 볼 때, 한국 대다수의 단체들은 이 부분에 약하다. 보고를 위해 오직 지표측정에만 몰두하다보니 부족한 게 무엇이고 개선되어야 하는 게 무엇인지에 대한 레슨런과, 더 나은 프로젝트를 위한 고찰에까지 이르지 못하게 되는 것이다. 더욱이 평가 보고가 비밀인양 현지 이해관계자에게는 철저하게 공유하지 않는 경향이 있다. 평가 결과가 이해관계자에게 충분히 공유되어야 더 나은 사업의 효과성을 마련할 수 있다는 것을 기억해야 한다.
미얀마 농업개발 컨설팅을 위해 현지에 방문했을 당시 있었던 일이다. 당시 농업교육 내용은 평지에서의 농작물 관리에 관한 것이었는데 정작 교육을 받는 농민들은 불만이었다. 그들이 살고 있는 지역의 지형은 비탈길이어서 물관리, 작물관리가 사뭇 다르다는 것이 그 이유였다. 이러한 사업에서는 결국 교육의 실질적인 효과성을 기대하기 어렵다. 이 사례는 필자로 하여금 현지 이해관계자와의 소통이 지속적으로 이루어지고, 평가 결과가 공유되어야 사업이 더 발전하며 이어질 수 있음을 직접 확인하게 해주었다.
이 글을 우연히 접하게 된 오늘이야말로 본인이 지금 수행하고 있는 사업의 평가가 어느 수준에 머물러 있는지 생각해보기 좋은 날이 아닐까. 잠깐의 생각이 고민이 되고, 그 고민이 사업의 평가 단계에 반영될 때, 우리는 그 생각의 힘을 보게 될 것이다. 끝으로 국개협을 사랑하는 독자들에게 아래 내용에 대해 고민해 볼 것을 제안한다.
보건의료교욱(MPH)을 10회 진행하는 사업의 실무자로써 평가에서 어떠한 내용을 확인할 것인가? (이러한 사업의 대부분은 80% 이상의 이수자를 목표로 한다.)
(예)
· 그렇다면 왜 20%는 미이수인 것인가.
· 가장 인기 있고 집중도가 높았던 과정은 무엇인가.
· 교육과 현실이 다른 케이스는 무엇인가.
