성과평가에서 논리모형 적용하기
성과관리에서 성과평가까지
0. 들어가기
성과란 무엇인가? 성과를 정의하는 방식에 따라서 Managed by Objective라고 불리는 MBO의 방향이 달라진다. 보통은 목표설정이 핵심이라고 하지만 오히려 '성과'를 규정하는 '성과지표'가 목표관리의 핵심이라고 . 할 수 있다. 그러니 오히려 미래의 성과지표의 결과를 기반으로 백캐스팅하는 방식으로 성과관리는 하는 것이 더 쉽다는 말이다. 무엇인가를 이룬다고 할 때 그것이 이루어졌다는 것을 어떻게 알 수 있을까? 이런 고민을 해보면 결국 피터드러커의 말처럼 '측정되지 않은 것은 평가되지 않는다'와 같은 결론을 맺는다. 그것이 양적지표든 질적지표든지 같에 어떤 순간에는 보여지는 자료로 증명해야 한다. 그 때 어떻게 '보여지게' 만들 것인가가 바로 지표와 관련된 고민이다. 그러나 지표가 중요하다는 것을 알아도 막상 어떻게 구성해야하지라는 생각에 다다르면 다시 막막해지기 마련이다. 오늘은 지표설정에 있어서 가중치, 난이도 그리고 논리모형의 적용까지 알아보자. 그동안 공부한 것들을 바탕으로 조금 더 깊은 이해를 가져보자.
오히려 성과는 경영적인 효과로 어떻게 드러나는지를 고민하는데 있어서 더 명확해진다.https://brunch.co.kr/@minnation/3825
1. 가중치
가중치(weight)는 성과평가에서 각 평가 항목이 전체 평가에서 차지하는 상대적인 중요도를 나타내는 개념이다. 평가 항목마다 중요도가 다를 수 있기 때문에, 조직의 목표나 평가 목적에 따라 특정 요소에 더 높은 가중치를 부여하여 평가의 공정성과 전략적 정합성을 높일 수 있다. 문제는 가중치의 개념을 '중요도'로 보지 않고 '직무의 크기'나 '우선순위', '난이도'개념과 혼동해서 쓰는 경우가 빈번하다는 것이다. 가주이는 조직의 미션과 연결되어 있으며 당해년도에서 가장 중요한 미션을 달성하기 위해서 가장 많이 기여해야하는 것을 뜻한다. 만약에 '중요한 일'과 '급한 일' 가운데 구분이 필요하다면 '아이젠하워 매트릭스'를 통해서 중요하고 급한 것을 가중치로 설정할 수도 있다.
가중치의 역할
평가의 공정성 확보 : 모든 평가 항목이 동일한 중요도를 가지는 것이 아니라, 조직이 중요하게 생각하는 요소를 더 반영할 수 있다. 예를 들면, 생산성과 혁신성이 모두 중요하지만, 조직의 미션에 있어서 생산성이 더 중요하다면 생산성에 더 높은 가중치를 부여할 수 있다. 결국 이를 위해서는 핵심성과요소 critical success factor인 CSF가 가장 중요하다.
전략적 목표와의 정렬 : 조직의 핵심성과지표(KPI)나 전략적 방향에 맞춰 특정 평가 요소를 강화할 수 있다. 고객 서비스 중심 조직에서는 고객 만족도 항목의 가중치를 높이는 방식이고 사업부서에서는 사업의 효과성을 높이는 것이 가장 중요한 가중치 요소가 될 것이다.
비교 가능성 향상 : 다양한 직무나 부서 간 평가 기준이 다를 경우, 가중치를 활용하면 공정한 비교 가능해진다.
가중치 기반 성과평가의 장단점
장점 : 평가의 공정성과 객관성을 높일 수 있음, 조직이 중점적으로 관리하고 싶은 성과 요소를 강조 가능, 부서별/직무별 특성을 반영한 맞춤형 평가 가능.
단점 : 가중치 설정이 잘못될 경우 평가 결과의 왜곡 가능, 평가 기준이 지나치게 복잡해질 위험, 조직 환경 변화에 따라 가중치를 지속적으로 조정해야 하는 부담.
비영리 조직의 성과평가에서 가중치 활용법
비영리 조직의 성과평가는 기업과 다르게 수익 창출보다는 사회적 영향력, 기부자 신뢰, 운영의 지속가능성 등이 중요하게 평가의 요소가 된다. 따라서 가중치(weight)를 설정할 때 재정적 성과뿐만 아니라 조직의 사명과 전략적 목표에 맞게 평가 기준을 설정해야 올바른 가중치 설정이 된다.
주요 요소 : 사회적 영향력 (Impact), 재정적 지속가능성 (Financial Sustainability), 프로그램 운영 효과성 (Program Efficiency), 기부자 및 이해관계자 신뢰도 (Donor & Stakeholder Trust), 조직 운영 및 투명성 (Governance & Transparency) 등
핵심원칙 : 조직의 미션과 비전에 따라 가장 중요한 요소에 높은 가중치를 부여, 단기 목표 vs 장기 목표 고려하여 유연하게 조정, 이해관계자의 요구 반영 (기부자, 수혜자, 정부 등)
기부자의 신뢰도를 평가하는 기준 : 재정 투명성 (Financial Transparency), 성과보고 및 영향력 (Impact Reporting), 기부자 커뮤니케이션 (Donor Communication), 기부자 경험 및 만족도 (Donor Experience & Satisfaction), 윤리적 경영 및 신뢰도 (Ethical Governance & Credibility)
보통 이런 방식으로 가중치를 설정한다2. 난이도
성과 평가에서의 난이도는 개인이나 조직의 효과성, 생산성, 또는 영향을 평가하는 과정에서 발생하는 어려움과 장애물을 의미한다. 어려움은 주관적인 편견, 불명확한 평가 기준, 평가 대상이 통제할 수 없는 외부 요인 등 다양한 요소에서 비롯될 수 있기 때문에 난이도에 대한 이해가 모두 다르다. 난이도 설정을 하지 않으면 성과목표가 너무 낮게 나오거나 이룰 수 없는 난이도의 지표가 사용되기 때문에 난이도 설정은 매우 중요한 부분이다. 다음과 같이 주요요소들이 있으며 이에 대한 다양한 문제들도 발생한다.
난이도 주요요소
주관성과 편향성 : 평가자가 개인적인 편견이나 선호를 가질 수 있음. 동일한 성과라도 평가자마다 다르게 해석할 가능성이 있음.
명확한 지표 부족 : 성과 지표가 모호하거나 명확히 정의되지 않은 경우가 많음. 리더십, 창의성, 팀워크와 같은 질적 요소는 측정이 어려울 수 있음.
맥락적 요인 : 경제 변화나 조직 구조 개편과 같은 외부 요인이 성과에 영향을 미칠 수 있으나, 평가에 반영되지 않을 가능성이 있음.
일관되지 않은 데이터 : 성과 데이터가 불완전하거나 부정확할 수 있으며, 기간이나 부서별로 일관성이 없을 수 있음.
단기 성과와 장기적 영향의 균형 : 일부 성과 평가는 즉각적인 결과에 집중하여 장기적인 성장과 지속 가능성을 간과할 수 있음.
다양한 이해관계자의 기대 충돌 : 다수의 이해관계자가 있는 조직에서는 성과에 대한 기대가 서로 다를 수 있음.
저항과 감정적 반응 : 직원이나 팀이 부정적인 평가 결과를 우려하여 성과 평가 자체를 거부할 가능성이 있음. 피드백이 잘못 해석되어 동기 부여보다는 오히려 사기를 저하시킬 수도 있음.
난이도 극복을 위한 전략
혼합 방법론(Hybrid Approach) 활용 : 정량적(수치 데이터) 및 정성적(인터뷰, 설문조사) 평가 방법을 결합하여 균형 잡힌 평가 체계 구축.
단계적 도입(Phased Implementation) : 시범 프로젝트(Pilot Project)를 통해 논리 모형을 테스트한 후 점진적으로 확대.
역량 강화(Capacity Building) : 평가 담당자를 위한 데이터 수집, 분석 및 해석 교육 제공. 논리 모형의 적용 방법에 대한 실무 워크숍 진행.
기술 도입 : ERP, AI 기반 분석 도구 활용하여 평가 데이터의 정확성 및 효율성 개선. 자동화 시스템을 도입하여 평가 과정의 부담 감소.
이해관계자 협력 강화 : 평가 프레임워크 설계 단계에서 이해관계자와 협의하여 공통 목표 설정. 기대치를 조정하고 논리 모형의 장점과 한계를 명확히 설명.
feat. 가인지컨설팅 사례뉴스3. 성과 평가에서 난이도와 논리 모형(Logical Model) 적용
위에서 알아본 것처럼 난이도를 도입하는 것은 생각보다 어렵다. 난이도의 설정과 설계가 다양한 효과를 불러오기 때문이다. 그래서 국제개발에서 많이 사용하는 논리모형을 적용해보는 것은 생각보다 많은 문제를 해결해준다. 성과 평가에서 난이도(difficulty)를 논리 모형(Logical Model)과 연계하면, 평가 과정의 복잡성을 보다 체계적으로 분석하고 해결할 수 있다. 2가지로 적용해볼 수 있는데 '성과평가' 과정 자체를 논리모형으로 구현해보는 것이다. 만약 기획팀에서 이것을 진행한다면 논리 모형은 입력(Input) → 활동(Activities) → 산출(Output) → 결과(Outcomes) → 영향(Impact)의 흐름을 통해 성과를 구조적으로 분석하는 프레임워크로 사용할 수 있다. 그리고 비지니스 사업단위로 들어가게 된다면 '난이도' 조절의 '지표유형'으로도 사용할 수 있게 된다. 이러한 도입이 주는 효과는 난이도가 높을 수록 결과를 넘어서 영향력까지 끼치는 것으로 볼 수 있다.
논리 모형을 적용한 성과 평가의 이점
논리적 체계 확보: 성과를 단계적으로 분석하여 평가의 신뢰성을 높임
명확한 인과관계 정립: 활동이 결과로 이어지는 경로를 명확히 분석할 수 있음
난이도 조절 가능: 평가 단계별로 발생하는 난이도를 식별하고 조정할 수 있음
전략적 의사결정 지원: 성과 데이터를 기반으로 보다 효과적인 정책 및 사업 방향 설정 가능
논리 모형을 활용한 난이도 해결 전략
입력 단계: 평가 기준을 명확히 설정하고, 평가에 필요한 데이터 수집 체계를 정비. 자원의 부족 문제를 해결하기 위해 데이터 기반 의사결정(Data-driven Decision-making) 시스템 구축
활동 단계: 외부 변수를 고려한 리스크 관리 전략 마련. 실행 과정에서 성과를 주기적으로 점검하는 모니터링 시스템 운영
산출 단계: 양적 지표뿐만 아니라 질적 평가(예: 인터뷰, 설문조사)를 병행하여 분석. 성과 지표를 단순한 활동량이 아닌 "실질적 변화"로 설정
결과 단계: 단기 성과와 장기 성과를 구분하여 분석 (예: 1년 내 변화 vs. 5년 후 변화). 성과 데이터 분석을 위한 평가 프레임워크(예: Theory of Change) 적용
영향 단계: 영향 평가(Impact Evaluation) 기법을 활용하여 장기적 변화 추적. 비교 집단(예: 대조군 vs. 실험군)을 설정하여 객관적인 성과 분석
논리 모형을 활용한 난이도 분석
입력 (Input) : 평가를 위한 데이터(재정, 인적 자원 등)가 부족할 수 있음, 성과 측정 기준이 애초에 잘못 설정될 가능성
활동 (Activities) : 실행 과정에서 예상치 못한 변수(외부 환경, 정책 변화 등)가 발생할 가능성, 활동과 성과 간의 인과관계가 명확하지 않을 수 있음
산출 (Output) : 단기적 성과(예: 생산량, 참여율 등)는 쉽게 측정되지만, 질적 성과(예: 학습 효과, 조직문화 변화 등)는 측정이 어려움, 지표가 양적으로는 명확하지만, 질적으로 적절한지 판단하기 어려움
결과 (Outcomes) : 활동이 원하는 결과로 이어지는지 측정하기 어려움, 단기 결과(Short-term Outcome)와 장기 결과(Long-term Outcome)를 구분하는 것이 필요함
영향 (Impact) : 조직이나 사회에 미치는 장기적 영향은 측정이 복잡하고 시간이 오래 걸림, 외부 요인의 영향을 배제하고 순수한 성과를 측정하는 것이 어려움
feat. 서울복지센터 4. 성과평가에서 환산점수 만들기
성과평가에서 로직모델을 적용하기 위해서 셋팅을 하고 가중치와 난이도를 조정한다고 해서 끝난 게 아니다. 중요한 부분은 결국 다양한 평가결과들을 어떻게 정리할 것인가이다. 여기서 환산등식이 필요하고 보통 4~6회정도의 변환이 필요하다. 전략기획팀에서 일하면서 느끼는 것은 환산하는 과정에서 기획자의 뷰가 들어간다는 것이다. 환산점수를 도출할 때 어떤 방식으로 도출할 것이지, 어떤 변화과정을 거치고 어떤 이론적 계산식을 쓸 것인지에 따라서 성과평가의 종합점수가 완전히 달라지기 때문이다. 직접사용하고 있는 것을 보여줄수는 없어서 기본적인 방식만 공유한다. 이 부분이 사실 기획자의 '뷰'가 필요하고, 일종의 '감각'이 필요한 부분이다. 이것은 자신이 가진 모형을 적용해서 조직 전체의 성과를 디자인하는 것과 같다. 데이터를 한줄한줄 입력하면서 데이터의 흐름을 보면 어느정도 감이 잡히지만 이것을 논문을 쓰듯이 모형과 계산식을 통해서 정교화하는 과정에서 합리적인 방식의 결과물이 나온다. 이를 위해서 끊임없이 시뮬레이션을 돌려보고 분포와 표준편차를 보고 등급간의 정의와 합리성 구간을 살펴보아야 한다.
환산과정 설계하기
백분위 환산 (Percentile Scaling) : 평가 점수를 전체 평가자 중에서 백분위 순위로 변환하는 방식. 100점 만점 기준으로 80점이면 상위 20%일 경우, 백분위 점수는 80%이며 보통 pa1~pa5까지 나누어서 20%씩 리커트척도를 적용한다.
가중치 적용 (Weighted Scoring) :평가 항목별 중요도에 따라 가중치를 부여하여 총점을 산출. 예를 들면, 성과와 역량이 합쳐진 경우 종합평가에서는 업무성과 50%, 역량평가 30%, 태도평가 20%로 가중치를 적용한 총점 계산한다. 조직성과과 계산할 경우에는 OKR이나 KPI에서의 KR별, 핵심지표별 백분위환산한 점수에서 가중치를 적용한다.
표준점수 변환 (Z-Score) : 평가 점수가 정규분포를 따른다고 가정하고 평균과 표준편차를 이용해 변환한다. Z=X−μ/σ 여기서 X는 원점수, μ는 평균, σ는 표준편차
등급화 (Rating Scale Conversion) : 절대평가 또는 상대평가 방식으로 특정 등급(A, B, C, D, F)으로 변환. 예: 90점 이상은 A, 80-89점은 B, 70-79점은 C 등으로 조정
100점 만점 기준으로 변환 : 성과평가가 5점 척도(예: 1~5점)라면 이를 100점 만점으로 환산. 환산점수=(실제점수-최소점수)/(최대점수-최소점수)×100
Bell Curve (정규분포 기반 조정) : 상대평가 방식으로 특정 비율로 성과를 배분. 예: 상위 10% A, 다음 20% B, 중간 40% C 등으로 조정
간단하게 하면 이렇게 되지만, 등급과 가중치 사이에서 많은 부분의 환산이 필요하다.0. 나오기
이런 방식으로 셋팅을 하고나면 이제부터 성과관리를 시작해야 한다. 성과관리는 진척율, 마일스톤, OKR에서 이니셔티브로 구성된다. 분기별로 할 수 있고, 반년 혹은 년단위로 할 수 있다. 그러니깐 평가지표를 셋팅한다고 끝나는게 아니라 이제야 시작이라는 것이다. 성과를 관리해야하기 때문에 중간중간해야할 일들이 무수히 많다. 내가 일하고 있는 조직에서는 이제야 성과목표를 설정하라는 공지를 했고 이번주부터는 각각 위의 방식으로 정한 가중치, 난이도에 따라서 핵심성과지표가 잘 설정되었는지 혹은 구간이 잘 셋팅되어있는지 등등 살필게 매우 많다. 그럼에도 매우 즐겁고 배우는게 성장하는 것 같은 느낌이다. 무엇을 어떻게 해야할지 이제야 좀 감이 잡히는 느낌이다. 가인지 컨설팅에서 OKR코칭 과정을 수료했고 '목표설정'에는 자신이 있다고 생각했는데 막상 작년말부터 성과평가를 하려고 하니 완전히 초보라는 것을 깨달았다. 그래서 작년말부터 부지런히 공부해서 따라가고 있다. 아직도 갈 길이 멀지만 올해는 성과목표 설정, 성과지표설정에 이어 성과관리를 잘 해보고 싶다.
