공인노무사 인사관리 점수는 왜 로또일까?
공인노무사 2차시험 표준점수는 도대체 어떻게 환산되는 것일까?
어제는 30기 합격자 발표를 기다리는 지인을 만났었다. 작년의 나처럼, 여기도 인사점수가 화두더라.
어떻게 나올지 모를 점수.
노무사 수험생들 대다수의 공통된 고민이 아무래도 인사노무관리론의 점수가 어떻게 나올지 여부일 것이다. 그래서 아마도 문항별 원점수와 표점을 분석한다느니 하는 갖가지 시도들이 있어왔고, 그럼에도 불구하고 왜 이 점수가 나온 것인가? 에 대한 설득력 있는 주장은 수험생들 커뮤니티에서 딱히 보이지 않는다.
특히,
법 과목은 대충 예측이 가능한데, 심지어 경조도 예측이 가능한데 왜 인사는 점수가 로또인가?
라는 의문이 제일 많이 나온다.
그런데 사실 생각해보면 그런 대부분의 시도는 아마 부질없는 시도일 공산이 클 것이다.
공인노무사법 시행규칙은 제2차 시험의 표준점수에 대해 다음과 같이 산출한다고 아예 산출방법을 규정하고 있다.
제4조의 2(성적의 세부산출방법)
② 제2차시험의 경우에는 각 시험위원이 채점한 점수에 대하여 해당 시험위원이 채점한 전(全) 답안지(이하 “시험위원별 답안지”라 한다) 점수의 표준편차와 평균점수를 산출하여 제1호의 계산식에 따라 조정한 점수를 각 응시자의 득점으로 하되, 시험과목 중 노동법은 제1호의 계산식에 따라 조정한 점수에 1.5를 곱하여 산출한 점수를 응시자의 득점으로 한다. 이 경우 시험위원별 답안지 점수의 표준편차는 제2호의 산식에 따라 산출한다.
1. ｛(시험위원이 채점한 점수 - 시험위원별 답안지 점수의 평균) ÷ 시험위원별 답안지 점수의 표준편차 × 10｝+ 50
2. ｛(시험위원별 답안지 점수 - 시험위원별 답안지 점수의 평균)²의 총합계 ÷ (시험위원별 답안지 수 - 1)｝의 거듭제곱근
각 과목당 채점위원은 3명이다. 각 시험위원 별로 각 문항별 채점한 점수는 다를 수밖에 없다. 그래서 나오는 것이 표준편차이고, 표준편차의 산식이 있는 것이다. 이 표준편차가 클수록 변별력이 큰 것이고, 표준편차가 작을수록 변별력이 없다고 볼 수 있다. 표준점수는 애초에 "당시 시험 난이도에 따른 상대적인 위치 파악"을 하는 용도이다.
아울러 "시험위원이 채점한 답안지 점수"와 "시험위원별 답안지 점수"와 "시험위원별 답안지 점수의 평균"의 의미는 모두 다르다.
시험위원이 채점한 답안지 점수는 A,B,C 시험위원이 있을 때 A시험위원이 a답안지를 채점한 답안지 점수를 말한다.
시험위원별 답안지 점수는 A시험위원이 채점한 모든 답안지(a+b+c+...z)의 점수를 말한다.
시험위원별 답안지 점수의 평균은 그 (a+b+c+...z)의 총합을 답안지 장수(n)으로 나눈 값일 것이다.
1호 산식에 의해서 점수의 산출은 a 응시자의 답안의 경우 Aa, Ba, Ca 3개의 점수가 만들어지고, 이것이 문항별 원점수 합산으로 뜨게 될 것이다. 즉, 나중에 사후 분석을 통해 어떤 문제가 응시자들에게 "어려웠는지/쉬웠는지"를 알게 되는 점수일 뿐, 일정한 "채점 기준"을 찾기란 사실상 어렵다고 본다.
특히 인사점수의 경우도 이런 이치로 따지면 사실 왜 "로또" 점수가 나오는지 자명한데, 내가 보는 표준점수는 나의 원점수가 아니고, 나의 "상대적 위치 점수"이기 때문이다. 내가 모의고사봤을 때 원점수 60점을 거의 항상 넘었는데 왜 내가 표준점수는 56이냐, 54냐, 라고 한다면 사실 할 말은 별로 없다.
왜냐하면 그 사람은 여전히 평균보다 잘 본 사람이고, 무엇보다도 문제는
"시험에 따른 원점수의 분포가 정규분포와 비슷하지 안 비슷한지 아무도 모른다."
라는 사실에 있다.
정규분포에서야 평균 50점에 가장 많은 사람들이 몰려 있고 51점, 52점...표준점수가 올라갈수록 모여있는 숫자는 적어질 수 있다. 하지만 학원에서 매주 모의고사를 보아온 사람들은 아무래도 상향평준화되어 있을 것이고, 그럼 노무사 2차 시험의 분포도는 아무래도 표준정규분포표와는 무관할 확률이 높다고 생각된다. 원점수 기준 58~62의 경우 첨삭자들에 의해 오차가 발생하기도 하므로, 사실 그 점수대에 있는 사람들은 표준점수 54나 56, 57점의 어딘가에 몰려 있을 수 있다.
그런데 그 몰려있는 구간을 뛰어넘으면, (즉, 아주 조금이라도 잘 썼으면)
표준점수가 확 뛰어버리는 것이다. (조금만 잘 썼어도 표준점수 차이가 확 날 수 있는 구간 발생.)
"운을 뛰어넘는 실력"을 기르란 말의 수험적 의미는 바로 이것이 아닐까 생각한다.
그래서 이건 매 해 시험마다 무슨 문항별 원점수를 추적하고, 사람들의 데이터를 모으고 해봐야 사실 개별 수험생에게는 큰 의미가 별로 없어 보인다. 우리 시험이 정규분포를 따르면 모르겠는데, 정규분포를 따르지 않는다면 사실 이 점수는 몇 점이었으니 내년에 몇 점이었을꺼야...라는 게 무의미한 예측일 것이기 때문이다.
그럼 법 과목이나 경조보다 인사노무관리론의 점수가 왜 특히나 "로또"인지도 설명이 된다.
각 채점위원들의 기준이 중구난방인 것이 아니라, 법 과목이나 암기과목인 노동법, 행쟁, 경조에 비해 인사는 완전히 정확한 개념어들로만 가득차있는 답안지가 아니라면, 어느 정도는 개념을 풀어 쓴 답안이 많을 것이고, 채점위원들은 그 완전히 정확한 개념어들 외에는 "풀어 쓴 답안"을 개념을 풀어 쓴 거에 감안해서 "적당한 점수"를 주거나, 아니면 아예 키워드를 발견 자체를 못하고 넘어가게 될 것이다. 그리고 간혹가다 발견하는 정확한 개념어들(이른바 키워드)이 많은 답안에 폭풍처럼 후한 점수를 주게 될 것이다. (이건 첨삭 경험자로서의 이야기)
그래서 내가 그래도 매번 59~61 점을 받았다...싶더라도 50점대가 나오게 되는 것 같다. 이건 내가 인사노무관리론 점수가 잘 나왔었어가 아니라, 모의고사 때 잘 봤어도 실제 시험에선 결국 50점대 후반을 맞았기 때문에 여러번 생각해서 얻은 나름의 결론이다.
이거 쳐다봤자 딱히 별로 의미없단 이야기. 어느덧 30기 2차 시험 발표일도 1달도 안 남은 것으로 안다.
많은 수험생들 모두 좋은 결과 나오란 말은 헛소리이고 거짓말일테지만,
"운을 뛰어넘는 실력"을 갈고 닦은 사람들 모두가 공정한 결과를 얻길 바란다.
그리고 그렇게 될 것이다.
