[국제개발 에세이] 사업 기획·수행·관리에서 평가로
같은 사업, 다른 시선
커리어의 대부분을 국제개발NGO 소속으로 프로젝트를 기획하거나 수행하고 관리하는 일들을 주로 담당해 오다가, 작년부터는 NGO가 아닌 곳에서 사업 평과 관련 일들을 접하고 있다. 우리 기관이 아닌 전혀 접점이 없는 기관의 사업들을 보는 경험도 많지 않았고, 양적 데이터들을 수집하고 이를 분석하는 작업들도 아직은 걸음마 단계에 있다.
평가 분야에 막 발을 들여놓은 지금의 시점에서 이러쿵저러쿵 이야기하기는 좀 조심스러울 수도 있지만, 국제개발사업을 기획∙수행∙관리자의 역할에서 평가자로서 역할이 변화하면서 느껴지는 부분들이 있어 편하게 정리해 보려 한다. 지금 시점에서는 사업을 직접 기획하고 관리했던 경험들이 훨씬 더 길고 많기 때문에 사업 기획∙수행∙관리자의 입장에 좀 더 서있게 되는 것 같다. 더욱 경험치가 쌓이면 지금보다 깊이감있으면서도 균형잡힌 시야를 가질 수 있기를 기대하면서..
많이들 느낄 수 있다시피, 국내 국제개발계에서도 평가가 점점 더 관심을 많이 받고 있고 그 중요성이 강조되고 있다. 오래전부터 존재해 왔던 변화이론이 마치 새로운 접근법인 것처럼 재조명되고 있고, 역시나 이전부터 사용되어 온 로그프레임이라는 용어가 PDM 대신 언급되기도 한다.
변화이론, 로그프레임 같은 개념과 용어들이 이미 있었음에도 4x4의 제한된 형식을 가진 PDM을 획일적으로 적용시키면서 보편화시키고는.. '이제는 변화이론이 중요하다'라고 이야기하는게 좀 아이러니하긴 하다. 정부기관 입장에서는 그럴 수 있는데(KOICA만을 의미하지 않는다, 국무조정실에서 제공하는 국제개발협력 평가매뉴얼에서부터 PDM이 언급된다. https://www.odakorea.go.kr/contentFile/Eval/02.pdf), 왜 모든 민간영역의 주체들까지 다들 PDM이 공식인 것처럼 그 흐름을 따라 갔어야 할까. 왜 정부기관들이 4x4의 PDM을 강조하고 있을 때 민간 주체들은 그보다 더 넓게 보지 못했을까. 아쉬운 부분이다.
PDM에 갇혀버린 사업들, 그리고 변화이론을 적용하여 진행되는 평가들. 여기서 오는 갭들은 당연히 존재한다. 사업 기획 단계에서 제한적인 4x4 틀 안에 사업의 내용과 지표들을 요약해 넣게 되면 PDM 안에서는 필연적으로 논리의 비약이 생길 수밖에 없다. 특히 output에서 outcome과 impact로 연결되는 연결고리들은 4x4 표 안에 넣을 수 없을 만큼 많고 복잡하다. 그럼에도 기관들은 단 네 줄로 사업의 성과 논리를 표현해야 한다. 분명, 심플한 구조 안에서 효율적으로 사업을 관리할 수 있다는 장점은 있겠지만 그만큼 사업(개입)을 통한 변화의 연결고리에는 집중하기가 어렵다.
사업 수행단계에서도 실무자들은 PDM과 씨름하기 바쁘다(물론 진짜 씨름은 회계정산 부분에서 벌어지지만). 수많은 현장에서의 이슈들을 대응하면서 계획대로 활동을 진행하고 output을 달성하기 위해 현장과 수시로 소통하면서 사업 진행과정을 점검한다. 하지만 안타깝게도 outcome 이상의 연결고리들을 고민하기에는 여러모로 버거운 점들이 많다. Outcome으로의 연결고리를 고민하기에는 사업 기간도 촉박하고, 활동과 output 단계에서의 이슈들을 해결하는 것만 해도 쉽지 않다.
현장에서의 변수는 무한하고, 어찌 보면 변동이 생기는 것은 당연하다. 하지만 사업 계획 변경을 위해서는 그 변경이 왜 필요한지에 대해 길고 긴 논의를 거쳐야 하고 지원기관의 승인을 받아야 한다. 활동의 결과와 직결되는 output(ex. 활동 참여자, 교육 참여자 수 등) 지표들의 일정 기준을 충족시키지 못하고 미달성하게 되면 기관에게는 패널티가 주어진다. 그러다 보니 기존의 계획은 가능한 변동없이 유지한 채 계획된 활동들을 진행하는 것이 사업을 수행하는 입장에서는 가장 우선적인 목표가 되어 버린다.
끊이지 않는 이슈들을 해결하고 무사히 사업을 종료시키고 나면, 평가의 과정이 시작된다. 이 평가 단계에서는 변화이론에 기반한 사업의 논리와 그 연결고리가 실제로 작동했는지 여부를 분석한다. 그리고 이 과정에서 PDM 상 목표치가 달성되더라도 이 목표치가 사업의 개입을 통한 결과라는 것이 증명되지 않으면, 사업 활동을 통한 변화라고 인정되지 않는다. 사업기간 내내 국내와 현지의 지원기관 담당자, 현장의 관리자 분들과 PDM 달성을 위해 수많은 논의를 거쳐왔는데, 참.. 허무한 일이다.
사업의 활동요소들을 보면 여러 교육이나 캠페인 활동들이 함께 진행된다. 농업 생산성 향상을 목표로 하는 사업을 예로 들면, 800명에게 종자와 비료를 지원하는 활동 외에도 협동조합을 조직하고 리더십이나 기술 교육을 진행하는 경우들이 많다. 사업 종료 후에도 사업의 성과가 선순환될 수 있도록 기본적인 거버넌스와 시스템을 만들어 놓는 과정이다. 사업을 수행하는 입장에서는 교육이나 캠페인 활동이 다른 활동 대비 예산은 적으나 매우 많은 시간과 노력이 투입되어야 하는 활동이다. 대상자들을 한날 한 장소에 모이게금 하고 강사를 초빙하고.. 교통이 열악한 곳에서는 로지스틱 세팅만 몇 주가 소요된다.
반면 평가자의 입장으로 보았을 때는, 성과의 지속성을 위해서 필요한 세팅이라고 하지만, 그렇다고 그 효과를 쉽게 증명할 수 있는 활동은 아니다. 리더십과 기술 교육을 제공함으로써 발생한 변화를 어떻게 측정할 수 있을까, 더 근본적으로는 단기프로그램 참석만으로 어떤 변화를 기대하는 것 자체가 모순일 수 있다.
사업을 수행하는 입장에서는 사업 참여자들을 대상으로 한 교육과 캠페인 활동들은 사업 전체에서 배제시키고 갈 수 없는 부분이다. 성평등 관련 활동이나 캠페인들도 마찬가지이다. 시간과 에너지가 매우 많이 소모되지만, 효과를 떠나서 활동 자체가 주는 의미가 크다. 하지만 평가 과정에서는 눈에 잘 띄지 않거나, 평가자의 이해가 없다면 말그대로 평가절하(?) 당하기 가장 좋은 요소이다. 가시적인 성과로 이어지지 않으니까.
평가에서 분명하게 함께 고려되었으면 하는 부분이 있다. 지원기관의 사업 선정 시기, 과정, 절차 등의 문제이다. 특히 시민사회협력사업과 같은 경우는, 사업기간이 대부분 3년 이내 이기 때문에 착수 즉시 사업이 진행되어야 하는 부담이 있다. 즉 사업이 선정되면 바로 사업을 시작할 수 있도록 세팅이 다 갖춰진 상태여야 한다. 하지만 현실에서는 선정 여부가 불투명한 사업을 위해 예산을 써가며 모든 사전 준비를 마쳐 놓는 것은 여러모로 부담이 되는 일이다. 쳇바퀴 돌리듯이 매우 급하고 짧게 돌아가는 이 구조 안에서, 사업 참여자 선정부터 outcome까지의 연계를 충분히 고려하며 사업 착수를 준비해 놓을 수 있는 곳이 얼마나 될까. 그러지 못한다면 이것은 사업 기획을 잘못한 탓이고 준비가 부족했던 탓일까. 사업이 기획되고 착수되는 사이클과 구조에 더 근본적인 제약이 있는게 아닌가.
사업기간이 3년이면 기초선, 종료선 조사는 언제 해야 할까. 준비하고 진행하는 데에만 수개월이 소모되는 작업인데, 3년 안에 모든 것들을 다 할 수 있을까. 사업 규모에 따라, 기관에 따라 상황들이 많이 다르겠지만 어느 경우든 이런 사이클은 부담일 수밖에 없다. 이런 상황에서 변화이론과 OECD 6대 평가기준을 토대로 한 평가의 결과를 피평가 기관은 어떻게 받아들일 수 있을까.
이런 맥락에서 평가자들 역시, 단지 사업 자체만 놓고 볼 것이 아니라 시민사회협력사업은 어떤 과정을 거쳐 선정되고 어떠한 구조로 돌아가는지, 국제기구 사업은 어떠한지, 전체적인 구조를 먼저 이해할 필요가 있다.
현재 기준으로 내가 앞으로 하고 싶은 일은 외부에서의 평가자가 아닌 내부에서의 평가자, 그리고 평가자에만 그치는게 아니라 평가를 통해 얻은 레슨런을 다음 사업에 환류시키고, 더 나아가서는 사업 모델이나 전략 방향을 만드는 일이다. 굳이 표현하자면 내부 평가자이자 전략 기획자라고 해야 할까.
외부 평가자로 일을 해 보니 평가자는 평가자일 뿐이다. 환류워크숍 등의 과정을 거친다고는 하지만 평가 과정에서부터 피평가자의 상황을 정확히 반영하기 힘들고, 결과를 어떻게 환류시키고 적용시킬 수 있을지 구체적으로 고민하기에는 외부자로서 한계가 있다. 외부자는 평가하고 레슨런을 도출해 주고, 피평가기관은 그 결과와 레슨런을 받아서 자체적으로 환류시켜야 하는 구조이다. 중소 단체들을 대상으로 외부 성과관리팀이 사업 수행 과정에서부터 성과관리를 컨설팅해 주고 지원해 주는 사업이 있는 것 같은데, 좋은 모델이지만 이 역시 외부 성과관리팀이 어떤 곳인지에 따라 차이가 매우 클 수 있다는 한계가 있다.
반면 내부 평가는 (아무래도 외부 평가보다 bias에 사로잡힐 확률이 높을 수 있지만) 평가 결과를 다음 사업에 환류시키거나 기관의 전략방향을 수립하는 과정에서는 훨씬 더 유용할 수 있다. 평가-환류-적용 간의 부드러운 연결을 위해서는 피평가자의 보다 적극적인 참여와 의견 개진이 필요하고, 평가팀과 피평가팀 모두 평가 자체가 목적이 아니라 레슨런 도출과 적용에 더 초점을 맞추어야 한다. 이 과정에서는 당연히 사업의 성과를 과장하여 포장하기 위한 시도는 철저히 배제되어야 한다, 현재 국내 국제개발계의 분위기 상으로는 힘들 수 있지만..
결국 평가에서도 내부·외부 평가에 따라 그 장단점이 다른 것인데, 외부 평가 활동은 점점 더 활발해 지고 있는 요즘 내부 평가에 대한 관심도 함께 높아졌으면 하는 바람이 있다. 외부 평가에만 기대지 말고 보다 적극적으로 내부 평가도 진행하고, 그 레슨런을 도출해서 공유하고 다음 스텝에 적용하려는 노력들이 더 활발해 지길 기대한다. 평가도 결국 비용이 들기 때문에 자체적으로 내부평가가 어려운 곳이 대부분인 만큼, 중소기관들의 내부 평가 인력을 양성하고 지원하기 위한 프로그램들이 진행되거나 평가시에 외부 뿐만 아니라 내부 인력도 평가에 참여하는 등의 공동평가 프로그램도 운영된다면 좋을 것 같다(이런 프로그램들이 건강하게 진행되기 위해선 상호 간 이해수준이 높은 player들이 많이 생겨나야 할 것 같다).
더 나아가서는 평가에만 집중하기 보다는 사업 기획, 혹은 그 전 전략 기획 단계에서도 평가만큼의 관심과 에너지가 투입될 수 있기를 바란다. 레슨런을 도출하는 것보다 이를 현실에 적용하고 실행하는 것이 훨씬 더 어려워 보인다.
수행단계에서도 우리가 예측할 수 없는 수많은 변수들이 존재하고 예상치 못한 이슈들은 언제든 발생할 수 있다는 전제를 가지고, 더 유연하게 사업이 진행될 수 있어야 한다. 사업 계획이 변경되는 것은 누군가의 실수와 역량 부족이 아니고, 당연한 일이다. (이런 측면에서, 변화이론이 PDM을 대체하는 또 하나의 바이블이 되지 않을까 염려가 되긴 한다.)
조금 더 글을 편하게 써보고 싶어서, 스쳐 지나갈 법한 생각들도 글로 정리해 놓고 싶어서 '국제개발 에세이'라는 카테고리를 새로 만든 것인데.. 생각을 정리한다기 보다는 그저 정신없이 쏟아내는 듯한 느낌이다. 그래도 이런 정신없는 글을 통해서라도 이 분야에서의 여러 생각과 고민들을 공유할 수 있는 기회가 더욱 많아지길 바라며!
