brunch

You can make anything
by writing

C.S.Lewis

by the Right Hands Dec 03. 2021

[국제개발협력]
꼬리에 꼬리를 무는 "모니터링"

그런데 이제 평가를 살짝 곁들인!

우리는 모니터링과 평가에 관한 모든 이슈를 '모니터링 평가'라고 칭한다. 또, 모니터링 평가는 'M&E'라 불리기도 한다. 그러나 이 둘을 둘러부른다해서 모니터링과 평가가 같은 성격을 갖고 있는 것은 아니다. 오늘은 국개협을 사랑하는 독자들을 위한 '모니터링에 평가를 살짝 곁들인' 핵꿀팁을 준비해보았다.

모니터링(Monitoring)은 사업을 그 목표에 맞도록 원만하게 진행하기 위해 예상치 못한 결과물을 분석하는 과정이다. 그래서 모니터링의 궁극적인 목적은 지표의 확인보다는 지표를 수정하거나, 지표를 변환하는 것으로 보는 것이 더 정확하다. 효과적인 사업집행을 위한 개선책을 제안해 보고, 전반적인 목표달성을 위한 충분한 환경(인력, 물자, 협력 그리고 시간과 규정)이 조성되고 있는지 파악해야 한다. 결국 모니터링은 진행하고 있는 사업에 대해 안전성을 확보하기 위한 전반적인 확인 단계라고 할 수 있다. 우리가 흔히 저지르는 실수 중 하나가 모니터링과 평가를 제대로 구분하지 못하고 모니터링을 마치 중간평가 개념을 이해하는 것이다. 이러한 실수는 평가의 툴을 모니터링 단계에 적용해 사업의 목적이 불명확해지도록 만든다.

사업은 아이와 같다. 계속해서 다루어주고 부족한 부분은 채워가며 성숙시켜 나가야 한다. 이러한 사업을 바로잡는 역할을 모니터링이 한다. 실행단계에서의 모니터링은 결과로 가는길에 예상치 못한 변수를 사전에 파악하고, 모든 프로세스가 규정과 법규에 맞게 진행되고 있는지 파악하는 것이다. 이 과정 중 이해관계자들의 역량과 현지 직원들의 역량이 어떻게 발현되고, 또 소통되고 있는지 파악해야한다. 단순히 활동 횟수를 점검하고 인원을 파악하며, 사진을 찍고, 인터뷰 몇 건 한다고 모니터링이 된 것이 아니라는 의미다. 그래서 모니터링은 수시로 진행하고, 투입자원의 효율성을 파악하며 위험요인을 찾아내는 것이다. 예측했던 단가가 변동은 되지 않았는지, 지표들이 측정가능한 수준인지, 사업비의 지출은 무난히 이루어지고 있는지 등을 파악해야한다. 사업선정 후 중간보고와 결과보고 만으로 사업을 다 파악했다고, 내가 해야 할 소임을 다했다는 생각도 금물이다.

평가(Evaluation)는 지표를 확인하고 초기계획과 다름을 파악해서 다음 단계로의 고찰과 숙고의 과정을 거치는 단계이다. 지부와 본부와의 소통, 사업 수행인원들의 실무적인 역량이 어떻게 사업에 긍정적인 혹은 부정적인 영향을 주었는지 냉정하게 파악해야 한다. 그런데 평가는 현실적인 어려움이 있다. 첫 번째는 마을단위의 지표가 데이터화 될 수 있느냐는 것, 두번째는 설문조사의 신뢰도, 세 번째는 현지어로 전달되어야 하는 부분은 번역 단계에서 현지의 뉘앙스로 변형할 수 있어야 정확도가 올라간다는 것이다. 의미있는 응답을 얻기 위해서는 파일럿 설문조사를 통해 설문지의 신빙성과 유의미한 정보를 도출하는 연습도 이루어져야 한다.

정리하자면, 모니터링은 반복되는 정보 및 자료의 수집과정이다. 사업초기의 합의된 계획에 의거하여 진행과정이 원만한지 확인하고, 기존에 설정했던 가정과 가이드라인에 맞게 진행되고 있는지 '확인'하는 것이다. 마지막까지 달려온 당신에게 가장 중요한 핵꿀팁을 전하자면, 모니터링은 베이스라인 조사부터 시작된다고 생각하는 것이 좋다. (단, 단위 사업의 활동주기와 기온, 보고기간, 출장기간을 감안하여 조정해 가야한다.) 또, 단체의 가치와 사명을 감안할 때 어떤 모니터링 지표를 생산해가는지와 발주처의 보고양식을 검토하면서 어떤 내용을 상시 점검해 가야하는지 파악하라. 무엇보다 중요한 것은 생각을 넘어 (단체의 비전과 발주처의 보고양식을 다양한 관점에서 곱씹어 보며) 실행에 옮겨라!