성과 평가 (2): 딸기잼
1.
"파란 불이다! 출발!"
자동차 신호를 대기하다가 깜빡하고 있을 때에 아내가 나에게 말한다. 그럼 나는 신호등을 확인하고 차를 출발시킨다. 이때 뒤에 앉아있던 아들은 깔깔 웃으며 소리친다. "그게 무슨 파란색이야. 초록 색이지!"
"척!" 하면 "척~"하고 알아들어야지 그것을 뭐 그리 따지냐고 답변한다.
그러고 보니 미국은 green light라고 하지 blue light라고는 하지 않는다. 아마 한국어에 있는 '푸르다'라는 단어의 쓰임새 때문일 것이다.
2.
"측정할 수 없는 것은 관리할 수 없다" 경영학의 대가 피터 드러커의 말이다. 내가 예전에 근무했던 회사에서는 피터 드러커의 경영 철학을 매우 신성시하고 모든 것을 그의 조언대로 실행하려고 했다. 그러한 경영 대가의 경영 철학은 사실상 옳다. 올바르게 측정하면 올바로 관리될 수 있다.
그런데 측정하고 관리하기 위해서 측정 지표를 개발해야 한다. 측정 지표는 우리의 언어로 표현될 수 있어야 한다. 즉, 언어로 표현되는 것만이 측정 지표로 개발될 수 있다.
3.
딸기잼 실험이 있다.
미국에서 발행하는 소비자 전문 월간지에서 딸기잼 브랜드 45개를 평가하였다. 7명의 전문가들이 딸기잼을 맛보고, 1등부터 45등까지 순위를 정하여 보고 보고서를 작성했다. 이것에 착안하여 한 연구자는 다음과 같은 실험을 진행했다.
먼저 딸기잼 중에서 1등, 11등, 24등, 32등, 44등의 다섯 개의 쨈을 선택하여 똑같은 용기에 담는다. 일반인 실험 참가자는 다섯 가지 딸기잼을 맛보고 순위를 정해야 한다.
일반인의 딸기잼 평가는 전문가의 평가와 일치할까?
실험은 두 집단으로 나누어 진행되었다. 첫 번째 집단에게는 딸기잼을 맛보고 생각나는 대로 맛의 순위를 1등부터 5등까지 정하는 것이었다. 두 번째 집단에게는 딸기잼을 맛보고 맛의 순위를 정하는데, 이때 "왜 그런 순위를 정했는지"에 대한 근거를 꼼꼼히 작성하도록 했다.
과연 어떤 집단이 전문가들의 딸기 맛 평가와 더 근접했을까?
정답은 첫 번째 실험 집단이다. 딸기잼 맛을 직관에 의해 평가한 그룹은 전문가들의 평가와 0.55의 상관관계를 보였다. 맛을 판별하는데 이유와 근거를 제시한 두 번째 실험 집단은 단지 0.11 정도의 상관관계만 보였다.
그 이유는 다음과 같다.
(1) 딸기잼 맛의 근거를 제시하기 위해서는 언어를 사용해야 한다.
(2) 직관에 의한 맛보다는 단어로 표현되기 쉬운 요소에 더 집중하게 된다.
(3) 단어로 표현된 맛은 사실 중요한 요소가 아닐 수도 있다.
(4) 그러나 단어로 표현될 수 있는 요소가 더 중요한 맛의 평가 기준이 된다.
(5) 결국 자신도 모르게 딸기잼의 선호도가 바뀐다.
4.
딸기잼의 맛은 주관적이라고 반박할 수도 있겠다. 하지만 객관적 예측치에서도 비슷한 결과가 일관되게 나오고 있다. 미국 대학농구 준결승과 결승전이 진행되기 이전 소위 농구전문가라고 하는 대학생들을 무작위로 두 그룹으로 나누었다. 한 그룹에는 앞으로 치러질 준결승과 결승전의 승리팀과 점수 차이를 예측하고, 그 이유를 작성하라고 했다. 다른 그룹에서는 직관에 의존해 승패 및 점수 차이를 예측하도록 했다. 두 그룹 모두 우연에 의한 예측치보다는 더 향상된 예측 실력을 보여주었다. 하지만, 직관에 의한 예측이 근거를 통한 이성적 판단보다 더 정확했다.
5.
무언가를 평가하기 위해 기준을 만들어 놓으면, 우리는 그 기준이 중요하다고 생각한다. 사람을 평가하는 기준도 그렇다.
중요해서 기준을 만들었을 것이다. 하지만, 측정 가능하기 때문에 측정하는 것은 아닌가? 측정하고 평가하다 보니 중요하게 생각되는 것은 아닌가? 숫자로 표현되기 시작하면 사람들은 집착하기 시작한다.
성과평가는 대체로 이성적인 판단과 근거를 기반으로 만들어져 있다. 직관에 의존하지 않는다. 즉, 해당 직원이 일 년 동안 성취한 성과지표, 역량평가, 리더십 등의 항목을 나누고 각 세부지표를 도출한다. 각 세부지표에는 중요도에 따른 가중치도 다르다. 최종 성과는 각 지표의 결괏값에 가중치를 곱하여 점수를 산출한다. 하지만, 중요하지만 측정할 수 없는 것들은 포함되지 않는다.
중요하지만 측정할 수 없는 것들은 어떻게 해야 할까?
