[Evaluation] 평가 시스템의 부작용들
완벽한 평가 시스템은 없다.
세상에는 수많은 서비스 기획자가 있고, 그들이 만들어 낸 수많은 서비스들이 있다. 하지만, 어느 서비스도 완전히 기획자의 의도대로만 굴러가지는 않는다. 서비스의 대상인 고객들은 워낙 복잡하고 개성 있는 존재인 데다, 각자가 어떤 의도를 가지고 있는 존재이기도 하다. 그리고 고객들의 행동은 계속 변화한다. 그래서 고객들에게 딱 맞는 서비스를 설계하기도 어렵고, 어쩌다 그럴듯하게 맞추었다고 해도 금방 새로운 이슈들이 떠오르게 된다. 그렇기 때문에 최초의 설계만으로는 부족하다. 바로 '운영'이 필요한 이유다.
평가 시스템은 서비스와 비슷한 면을 가지고 있다. 어떤 목적을 달성하기 위해 설계되었고, 일정한 규칙이 있으며, 사람들을 대상으로 한다. 그리고 평가 시스템도 서비스와 마찬가지로, 의도되지 않은 여러 이슈들을 만들어 낸다. 그래서 서비스처럼, 평가 시스템에도 '운영'이 필요하다.
운영을 효과적으로 하기 위해서는 무엇보다도, 평가 시스템으로 인해 발생하는 의도치 않은 이슈들이 무엇인지 알아야 한다. 무엇을 통제해야 할지 알면 반은 성공한 것이나 마찬가지니 말이다. 그래서 이번 글에서는 평가 시스템으로 인해 의도치 않게 발생하는 부정적인 현상들에 대해 나열해 보고자 한다.
성과가 드러나지 않는 작업은 기피하는 현상
예전에 2D로 서비스하던 게임을 3D로 다시 만드는 프로젝트가 있었다. 3D 게임이 점차 대세가 되어가던 때였으니, 나쁘지 않은 시도였다. 문제는, 2D 게임을 유지 보수하던 개발자들이 3D 개발을 해본 적이 없다는 데 있었다. 보통 이런 때는 3D 개발이 가능한 인력에게 새 게임을 만들도록 하는 것이 일반적인데, 당시 회사는 3D 엔진을 2D 개발자들이 사용할 수 있도록 하는 일종의 껍데기 엔진을 만들기로 결정하였다. 3D 개발과 2D 개발이 완전히 똑같을 수는 없지만, 기존의 개발 방식과 최대한 비슷하게 유지해 주는 것이 목적이었다.
보통 이런 작업은 성과가 불분명하다. 게임은 바로 성과와 연결되지만, 이런 애매한 엔진 작업은 성과와 직접 연결되지 않는다. 그리고 이 엔진을 이용해서 만든 게임이 잘 되더라도, 엔진 작업의 기여도가 크게 평가받기는 어렵다. 그러다 보니, 많은 개발자들이 그 작업을 기피한다.
같은 게임 프로젝트 사이에서도, 인기 있는 프로젝트와 인기 없는 프로젝트가 존재한다. 큰돈을 벌고 있는 게임의 후속작은 참여하고 싶은 개발자가 많을 것이다. 하지만, 없는 시장을 새로 개척해야 하는 게임이라면, 지원자가 그리 많지는 않을 것으로 생각된다.
이런 현상을 예방하려면, 결과만으로 평가하는 것이 아니라, 좀 더 세밀하게 기여도를 측정하려는 노력이 있어야 한다. 정성적인 평가보다 정량적인 평가가 편하기 때문에, 정량적인 평가에 지나치게 치중하는 경우가 있는데, 정성적인 평가가 아무리 어렵더라도 절대로 소홀히 해서는 안된다. 특히, 회사가 중요하게 여기는 일이라면, 당장 눈에 보이는 성과가 없더라도, 회사의 필요에 부응하고 있다는 자체를 충분히 평가에 반영해 주어야 한다. 헝그리 정신은 옛말이다. 지금은 보상이 보이는 곳에서 열심히 일하는 시대다.
공정성 시비
평가의 공정성은 늘 의심받는다. 평가가 공정성을 의심받는 것은, 모든 사람들이 만족스러운 평가를 받을 수는 없기 때문이다. 사실 공정한 평가일수록, 모든 사람을 만족시키기가 더 어렵다. 사람은 기본적으로 자신에게 관대한 편이고, 많은 사람들이 자신의 기여도를 실제보다 크게 생각하고 있기 때문이다. 열 명으로 이루어진 팀이 10의 성과를 냈을 때, 열 명 각각이 생각하는 자신의 기여도를 합쳐보면 10보다 훨씬 큰 값이 나올 것이다. 그래서 공정한 평가는 모든 사람이 만족하기 어려운 평가가 된다.
이 때문에 많은 평가자들이, 공정한 평가보다는 불만이 적은 평가를 지향하는 함정에 빠진다. 불만의 크기가 사람마다 다르고, 불만을 표출하는 정도도 사람마다 다르니, 불만을 컨트롤하는 각종 기술을 써가면서 평가라는 골치 아픈 과정을 덜 힘들게 넘어가고 싶어 한다. 하지만, 그것은 정말 눈 앞의 작은 고통을 면하기 위해 먹어서는 안 되는 약을 먹는 것과 같아서, 결국은 유능한 인재를 잃고 팀이 망가지는 원인이 될 수 있다.
유능한 인재를 확보하고 유지하기 위해서, 공정한 평가는 조직에 필수적인 요소다. 따라서, 절대로 평가를 타협해서는 안된다. 대신, 각자가 생각하는 자신의 기여도와 실제 기여도의 차이가 벌어지지 않게 관리하는 것이 필요하다. 평가에 의해 생기는 불만을 컨트롤하는 것이 아니라, 불만의 원인이 되는 상상과 실제의 차이를 컨트롤해야 하는 것이다. 그리고 이러한 통제는 평가 기간이 아닌, 일 년 내내 이루어져야 한다.
결국은 조직과 프로젝트에 대한 기여도를 자주 피드백하고, 그에 대해 당사자와 공감대를 형성하는 것이 중요하다는 얘기다.
업무 성과보다는 좋은 평가에 집착하는 현상
좋은 평가라는 것은 좋은 업무 성과로부터 이어지는 것이 정상이다. 하지만, 경기장에는 늘 반칙 플레이어가 존재하는 법이어서, 업무 성과가 아닌 불공정한 방법으로 좋은 평가를 얻어내려는 시도가 늘 존재한다.
직장 생활을 오래 한 사람들은 몇 가지 유형들이 금방 떠오를 것이다. 평가자와 친분을 쌓아서 좋은 평가를 얻어내려는 경우, 다른 사람의 성과를 깎아내려서 자신의 비중을 높이려는 경우, 업무 성과를 과대 포장하거나 아예 속이려 하는 경우 등 정말 온갖 반칙들이 난무한다.
이런 일이 발생하는 근본 원인은, 평가를 하는 주체가 결국 사람이기 때문이다. 사람의 판단력이 완전하지는 않다 보니, 사람이 여럿 있는 곳에서는 타인을 속여 이득을 취하려는 시도가 곧잘 발생한다. 하지만, 그렇다고 사람이 아닌 AI 같은 것에게 온전히 평가를 맡길 수도 없다. 정량적인 평가는 AI도 할 수 있지만, 정성적인 평가는 아무래도 사람이 해야 하기 때문이다.
결국은 평가를 하는 사람이 잘 가려내는 수밖에 없다. 조직이 이런 부분에 대해 평가자들을 잘 코칭할 수 있으면 더 좋을 것이다. 가깝게 다가오는 사람, 다른 사람을 안 좋게 얘기하는 사람은 좀 더 주의해서 평가해야 하고, 업무 성과는 자주 그리고 구체적으로 확인해봐야 할 것이다.
여러 가지 유형 중에서도 특별히 조심해야 할 것이, 다른 팀원에 대해 안 좋은 이야기를 하고 다니는 사람이다. 그 대상이 실제로 문제가 있어 비판하는 것과, 부당하게 깎아내리는 것은, 주의를 기울이면 어렵지 않게 구별할 수 있다. 그리고 다른 사람을 부당하게 깎아내리는 사람의 존재는, 인재를 이탈시키고 조직을 빠르게 무너뜨리는 힘이 있다. 그러니 타인에 대한 불평이나 불만을 접하게 되었을 때는, 단순한 다툼 정도로 치부하지 말고, 한 번 주의 깊게 살펴보는 것이 좋다.
뻔한 얘기지만..
이미 다들 알고 있는 뻔한 얘기를 하고 있자니 낯 부끄럽기도 하다. 하지만 뻔한 얘기일수록 몇 번을 강조해도 부족함이 없는 법이다.
열심히 고민하고 여러 번에 걸친 수정 작업 끝에 좋은 평가 시스템을 마련했는데, 의도하지 않은 부정적인 현상들 때문에 평가 시스템을 다시 엎어야 한다면, 그것만큼 힘 빠지는 일도 없을 것이다. 그런 일을 예방하기 위해서는, 평가 시스템 스스로가 목적을 이루어 내는 것이 아니라, 목적을 이루어내는 도구로서 평가 시스템이 존재하고 그 도구를 잘 운영한다는 관점이 반드시 필요하다.
예전에는 게임이란 것이, 한번 만들어서 출시하면, 그다음에는 버그 패치 정도나 하면서 올라가는 매출을 확인하면 되었다. 하지만, 온라인 게임이 대세가 되면서, 출시는 서비스의 시작이라는 의미일 뿐, 서비스를 어떻게 운영하느냐가 중요한 포인트가 되었다. 요새는 게임을 만드는 과정에서부터, 서비스의 운영까지 염두에 두고 진행한다.
마찬가지로, 평가 시스템도 항상 운영 방안과 함께 고민하고 설계해야 할 것이다.
1. 성과가 확실한 것만 하려는 현상
성과가 확실한 일에는 지원자가 몰리고, 불분명한 일에는 지원자가 귀해진다.
정량적인 평가뿐만 아니라 정성적인 평가도 중요하다.
회사의 필요에 부응하는 활동은 참여 자체도 평가 요소로 삼아주어야 한다.
2. 공정성 시비
공정한 평가일수록 공정성 시비가 생기기 쉽다.
불만이 적은 평가를 지향해서는 안된다.
평소에 성과에 대한 피드백을 자주 해서, 상상 속의 성과와 실제 성과의 차이를 계속 줄여주어야 한다.
3. 파울 플레이
부당하게 좋은 평가를 받으려는 시도는 늘 있다.
평가자는 이런 시도에 현혹되지 않으려 노력해야 하고, 조직은 그러기 위한 기술을 잘 코칭해야 한다.
타인의 성과를 깎아내리는 시도는 특히 주의해서 다루고, 과감하게 처리해야 한다.
