프로젝트 성과지표를 선정할 때 유의할 사항
성과측정은 목표달성을 위한 수단입니다.
에드워드 데밍은 품질관리 활동을 PDCA(Plan, Do, Check, Action) 사이클로 설명했습니다. PDCA는 계획하고, 실행하고, 점검을 통해 개선점을 발굴하고, 개선활동을 수행하는 프레임웍입니다. PDCA사이클은 1회성 사이클이 아니라 상황에 따라 계획을 변경하는 순환적인 사이클이기 때문에 지속적인 개선을 위한 품질관리뿐만 아니라 모든 경영활동, 제어기능을 포함하는 상품에도 적용 가능합니다. 이번에 말씀드릴 주제는 PDCA 중‘점검(check)’에 대한 것으로 프로젝트 관리에서는 지표측정 또는 성과측정이라 합니다.
에어컨의 ‘실내온도 조절’과 같이 제어기능을 포함한 상품은 측정기준, 측정방법, 측정도구가 발달되어 있습니다. 그러나 기업의 업무는 업무내용, 기업의 성숙도에 따라 측정가능한 수준이 천차만별입니다. 반복적이고 표준화된 운영업무는 측정이 비교적 용이하지만, 표준화되지 않고 복잡한 프로젝트 업무는 측정하기도 힘들고 측정의 신뢰도도 낮습니다.
프로젝트 성과지표의 개요에 해당하는 성과지표를 관리하는 목적과 성과 지표선정 시 유의사항에 대해 살펴보겠습니다.
1) 프로젝트 성과지표를 관리하는 목적
프로젝트 팀 또는 PMO가 프로젝트 성과지표를 개발하고 관리하는 목적은 다음과 같습니다.
- 프로젝트 리스크 관리를 위해
프로젝트 관리자는 성과지표들을 측정하고 분석하여 리스크가 발생하지 않도록 예방하거나 리스크의 영향력을 최소화해야 합니다. 리스크 관리를 위해서는 완료된 사용자 스토리, 투입 MM실적, 테스트 결과, 결함 조치율, 백로그 완료율, 공정진척률, 인도물 인수현황 등의 현황을 파악해야 합니다.
- 프로젝트 성과예측을 위해
프로젝트 이해관계자는 프로젝트의 미래가 궁금합니다. 언제 끝날지, 투입예산은 얼마나 될지, 프로젝트가 목표로 했던 비즈니스 가치는 달성할 수 있을지 등이 그 예입니다. 성과예측은 과거의 성과측정을 기반으로 미래의 생산성을 예측해야 하기 때문에 프로젝트 관리에서 가장 어려운 주제이기도 합니다. 이러한 성과예측은 프로젝트 의사결정을 위해서도 필요합니다. 예를 들어 변경요청에 대한 의사결정을 할 때에는 변경사항 반영에 따른 추가원가, 추가일정과 관련된 예측지표가 필요합니다.
- 기간과 자원 산정을 위해
프로젝트 일정계획을 수립하기 위해서는 프로젝트 팀의 생산성(속도, velocity)을 파악해야 하고, 프로젝트 생산성을 파악하기 위해서는 프로젝트 업무규모와 팀원의 역량을 측정해야 합니다.
- 프로젝트 팀의 학습을 위해
프로젝트 이슈가 발생하면 조직은 물론이고 프로젝트 팀원도 많은 대가를 치릅니다. 리스크 해결을 위한 많은 비용을 투입했다면 미래를 위한 교훈을 얻는 것이 중요합니다. 리스크 관리에 대한 교훈을 합리적으로 토의하기 위해서는 리스크 발생의 근본원인과 결과를 데이터로 파악해야 합니다. 왜냐하면 리스크 발생원인은 책임소재와 관련되기 때문에 객관적인 데이터가 없다면, 공감대를 얻지 못하거나 불필요한 갈등만 유발하기 때문입니다.
2) 프로젝트 성과지표를 선정할 때 유의할 사항
프로젝트 팀 또는 PMO가 프로젝트 성과지표를 선정할 때 유의할 사항은 다음과 같습니다.
- 측정 지상주의를 경계해야 합니다.
테일러의 과학적 관리가 경영원칙으로 확산되면서 측정할 수 있어야 관리가능 하다는 주장을 신봉하는 경영층이 많아졌습니다. 그 결과 인간은 측정할 수 없는 신의 본질을 완전히 이해할 수 없다는 의미로 캘빈이 이야기한 ‘측정할 수 없는 것은 관리할 수 없다’를 측정의 중요성을 강조하는 의미로 오해하는 사람도 많습니다.
물론 측정할 수 있는 것이 측정할 수 없는 것보다 좋습니다. 그러나 측정 지상주의는 경계해야 합니다. 과학자인 아인슈타인 조차 "중요하다고 측정가능한 것도 아니고, 측정 가능하다고 중요한 것도 아니다(Not everything that can be counted counts, and not everything that counts can be counted.)"라고 했습니다. 아인슈타인이 실험하거나 관찰할 수 없는 이론은 과학이 아니라고 생각했다면 상대성 이론이 세상에 나오지 않았을 수 있습니다. 프로젝트 관리도 마찬가지입니다. 프로젝트 관리자가 관심을 가져야 할 중요한 주제가 먼저이지, 측정가능성이 먼저가 아닙니다. 중요한 내용은 정량적으로 측정할 수 없어도 관심을 가지고 지켜보고 고민하면 통찰을 얻을 수 있고, 그것을 기반으로 의사결정 할 수도 있습니다. Count가 ‘측정하다’는 의미 또는 ‘중요한’의 의미로 사용되는 어원은 알 수 없지만 우연은 아닌 것 같습니다. 측정은 수단이지 목적이 아닙니다. 목적은 하나이지만 수단은 여러 가지가 가능합니다.
- 통제가능한 과정(원인) 지표를 고민해야 합니다.
살을 빼는 프로젝트를 할 때 몸무게는 결과지표이지 직접 통제가능한 것이 아닙니다. 쉽지 않지만 통제 가능한 것은 운동시간, 음식조절입니다. 몸무게만 측정해서는 안되고 운동시간, 음식종류와 양도 측정해야 살을 빼는 과정을 통제할 수 있습니다. 프로젝트 관리도 마찬가지입니다. 일정진척, 투입예산, 성능은 결과지표로 통제 가능한 항목은 아닙니다. 예를 들어 일정진척은 다른 변수를 통제한 결과이기 때문에 일정진척에 영향을 미치는 요인을 파악해야 합니다. WBS에 근거한 성과지표를 측정하고 있다면 성과가 미흡한 업무를 파악 가능하고, 특정업무의 성과지표에 이슈가 있다면 사람의 문제이거나 기술의 문제일 가능성이 높아 문제 파악이 비교적 용이합니다.
프로젝트 대부분의 업무의 성과가 미흡한데 그 원인이 명확한 기술이슈가 아니라면 원인파악이 어려워집니다. 이슈 프로젝트에서는 프로젝트 관리자의 리더십, 이해관계자의 소극적인 참여, 요구사항의 변경, 팀원의 생산성 저하 등이 복합적으로 작용하는 경우가 많기 때문에 관점에 따라 이슈를 발생시킨 원인이 달라집니다. 리스크 결과에 해당하는 일정, 원가, 성능 등 측정이 어렵지 않지만 위에 설명한 리스크 발생원인은 측정하기 힘든 경우가 많습니다. 측정가능성과 상관없이 프로젝트 수행과정에서 중요한 본질을 파악해야 합니다. 중요한 본질은 보고서에 적혀 있는 ‘프로젝트 진척률 00%’이 아니라 눈에 보이지 않는 프로젝트 팀원과 이해관계자의 마음입니다.
- 핵심지표에 집중해야 합니다.
측정에 몰입하면 모든 것을 측정하고 분석하려는 시도를 하기도 합니다. 이는 사람의 건강상태를 측정하기 위해 과다한 내용을 문진 하는 것과 유사합니다. 예를 들어 “지난 30년간 일주일에 술을 어느 정도 마셨습니까? 소주는 몇 cc, 맥주는 몇 cc, 막걸리는 몇 cc, 와인은 몇 cc 이렇게 문진 하는 페이지가 30페이지가 넘어가는데 한 두 번은 성의껏 답변했는데 나에게 어떤 피드백도 해주지 않아 그다음부터는 답변을 대충 답변하고 말았습니다. 술 안 마심으로 답변하면 제일 간단했습니다.
회사에서도 마찬가지입니다. 경영층이 측정에 몰입하면 측정할 수 있는 모든 지표를 도출해서 추이를 모니터링하고 변동이 있을 경우 분석하고 대책을 수립하려는 시도를 합니다. 수백 개의 넘는 지표를 도출하기 때문에 조직의 많은 브레인들이 모여 힘들게 유형분류를 하는 과정도 힘듭니다. 어쨌든 10페이지가량 되는 ‘상세 지표현황’을 보면 회사의 현황을 빠짐없이 한눈에 볼 수 있다는 착각에 빠기기도 합니다. 경영층은 “이제 모든 것을 빠짐없이 정량화하여 대시보드도 구축했어. 매월 측정하여 기준을 벗어나면 문제가 심각해지기 전에 대책을 수립해야지.”라는 착각에 빠집니다. 그러나 “그래서 뭐 어떻다는 거죠?, 무엇 때문에 수익성이 나빠지고 있는 거죠?”라는 간단한 질문에도 그 많은 지표들이 명확한 답을 하기 힘든 경우가 많습니다. 과다한 지표분석은 의사결정의 오류 또는 지연을 초래하기 쉽습니다.
지표가 너무 많으면 집중력이 낮아지기 때문에 이해관계자와 팀원들이 관심을 가져야 할 대표지표를 선정하는 것이 좋습니다. 예를 들어 프로젝트 일정관리를 위해서는 공정진척을 대표하는 지표를 1~2개 이내로 선정하여 의사소통 하는 것이 바람직합니다. 관리하는 지표가 많아질수록 부분최적화의 오류에 빠질 가능성이 높아지고 지표를 관리하기 위한 비용과 시간이 증가합니다.
- 지표실적에 영향을 받는 사람이 많아야 합니다.
지표에 영향을 받는 사람이 많을수록 좋은 지표입니다. 왜냐하면 지표에 영향을 받는 사람들은 지표실적에 관심이 많고 지표의 실적개선을 위해 노력하기 때문입니다. 사람들이 지표에 관심을 가지게 하려면 해당 지표를 개인 평가에 반영해야 합니다. 소수의 이해관계자나 팀원만 관심 있는 지표는 최소화해야 합니다.
- 정밀하고 복잡하게 측정한다고 정확한 지표는 아닙니다.
복잡하고 정밀하게 측정했지만 완전히 틀릴 수 있고, 대충 측정했지만 얼추 맞을 수도 있습니다. 정밀도와 정확도는 많은 경우 비례하지만 아닐 수도 있음에 유의해야 합니다. 디테일의 함정과도 같습니다. 잘못 설정된 개념을 디테일하게 측정하면 디테일하게 틀리는 것입니다. 변경가능이 매우 높은 요구사항의 WBS를 상세하게 정의하고 그 기반으로 일정을 측정하는 경우가 대표적인 예입니다. 완료기준을 명확하게 정의하지 않은 진척률도 마찬가지입니다.
프로젝트 진척률은 보통의 사람들이 직관적으로 판단했을 때 큰 문제가 없으면 됩니다. 예를 들어 통합테스르를 완료한 시점에서 프로젝트 진척률(업무완성률)은 80%에서 95% 사이면 적정합니다. 사람에 따라 80%에 가깝게 느낄 수도 있고, 95%에 가깝게 느낄 수도 있지만 큰 문제는 없습니다. 업무가 완료될 때마다 진척률이 증가하면 됩니다. 그것을 정밀하게 측정한다고 한들 어떤 이득이 있을까요? 중요한 것은 남은 일의 내용이지 남은 일의 %가 아닙니다.
진척률을 관리하기 위한 노력대비 진척률 관리에서 얻는 혜택을 비교하여 진척률의 상세화 정도를 결정해야 합니다. 진척률 관리의 목적을 분명하게 한 뒤 그 목적을 달성하기 위해 가장 효율적인 방법을 선택해야 합니다. 프로젝트 진척률을 정밀하게 측정할수록 프로젝트 팀원들로부터 많은 데이터를 취합하고 통합해야 합니다. 정밀한 프로젝트 진척관리를 위해 엑셀이 아닌 상용도구를 사용한다면 도구 시용비용과 도구 교육비용이 발생하는 것도 고려해야 합니다.
https://brunch.co.kr/@kbhpmp/160
