지표가 행동을 변화시키는 나쁜 예
골든 타임 도착률 조작
지표가 행동을 변화시키는 나쁜 예 – 골든 시간 도착률 조작지표가 행동을 변화시키는 나쁜 예 – 골든 시간 도착률 조작
아래 JTBC 뉴스룸 보도는 서울지역 119의 응급 출동 시간 조작과 이중 출동을 다뤘습니다.
[탐사플러스] 8분 걸렸는데 5분 기록…조작된 119 골든타임
응급 환자 구조의 골든 타임*이라고 하는 '5분 현장 도착율'을 높이기 위해 서울소방재난본부에서 골든타임 도착율을 평가 지표로 활용하기 시작했고, 응급 출동 대원들이 현장 도착 시간을 조작해서 지표 점수를 올리고 있다는 내용 입니다. “지표와 평가”의 관계 중 “지표가 행동을 변화시키는 나쁜 예”의 대표적인 사례라고 할 수 있습니다.
이 경우, 가장 큰 문제는 평가 지표값을 평가자가 자의적으로 측정 할 수 있다는 점 입니다. 즉, 응급 현장에 도착하기 전이라도 출동 대원이 단말기 버튼을 누르면 도착한 것으로 데이터를 남길 수 있었습니다. 골든타임 도착률이 정말 중요한 지표라서 평가지표로 사용하고 싶다면, 신고자의 위치와 응급 차량 단말기의 위치를 비교하여 일정 거리 이내로 접근했을 때 도착 기록을 남기도록 하는 등 다른 방법이 필요 합니다.
두번째 문제는 ‘응급 구조’라는 활동을 세부 활동으로 쪼개고, 그 세부 활동 중 하나를 평가에 활용 했다는 점 입니다. 지표는 어떤 활동이든 측정 대상으로 삼을 수 있지만, 지표를 평가와 연결해서 평가 지표로 사용하고자 한다면 대상이 되는 활동은 완결성을 갖는 단일한 업무여야 합니다. 여기서 완결성은 활동의 실체와 활동의 목적이 일치함을 말합니다. 즉, 응급 구조 활동 자체가 완결성을 갖는 가장 작은 활동 단위 인데, 이를 쪼개다 보니 문제가 되었다는 뜻 입니다. 이런 일이 지표를 설정하는 회의 자리에서 상당히 자주 – 거의 매번 – 일어나는 것도 재미있는 사실 입니다. 119 사례의 경우에도 실제 이 지표가 어떤 과정을 거쳐 평가 지표가 되었을지를 상상해보면 쉽게 이해가 되는데요. 최초에 ‘구조된 인명의 수’를 평가 지표로 사용하자는 의견이 있었을 거고, 뒤이어 구조된 인명의 수로 평가 하는 것은 불공평하다, 재난이나 화재 발생이 많을 수록 구조된 사람의 수도 많을텐데 재난의 수는 컨트롤 할 수 있는게 아니다, 재난이 많이 발생되어야 평가를 잘 받는 것이냐 등의 반발이 있었을거구요. 결국 대체 지표를 찾기 시작하고, 나중에는 응급 구조에 가장 크게 영향을 미치는 sub-activity, 그리고 그 중에서도 측정이 쉬운 활동을 찾아서 이를 평가 지표로 대체했을 겁니다.
이번 사례는 119 응급 출동 대원들의 비양심이 아니라, 잘못 설정된 평가 지표가 업무를 그릇된 방향으로 유도 할 수 있음을 보여줍니다. 일반 기업이나 다른 조직에서도 비일비재하게 발생하는 상황이니, 평가 지표를 설정할 때는 두 가지(평가자의 자의성이 개입할 여지가 있는지, 평가 대상이 되는 업무 범위가 적당한지)를 꼼꼼하게 확인해서 지표라는 도구를 보다 효율적으로 활용해야 겠습니다.
*골든 아우어 (golden hour)가 더 정확한 표현이나 이 글에서는 원 보도 자료 상의 표현을 준용함
이 글은 개인 블로그 alexsuh.blog의 지표가 행동을 변화시키는 나쁜 예 – 골든 시간 도착률 조작와 동일한 글 입니다. https://bit.ly/2Wv9QNp
