사람을 어떻게 평가할 것인가?
나는 사지선다형 문제 세대다. 그래서 주관식에는 익숙하지 않은 상태에서 대학에 들어갔다. 대학에 가보니 시험의 대부분이 주관식이어서 귀찮기도 했지만, 막상 시험을 치러보니 주관식 시험이 가장 어려운 형태는 아니었다. 내가 대학교에서 가장 싫어하고 힘들어했던 시험 형태는 "감점이 있는 다수선택형 (multiple choice) 시험"이었다.
"감점이 있는 디수선택형 시험"은 주관식은 아니지만, 주어진 선택지가 4가지보다 많고, 내가 답이라고 생각하는 것을 모두 표시해야 하며, 잘못 선택한 답에 대해 감점이 있다는 점을 제외하면 사지선다형 객관식 시험과 비슷했다. 겉보기에는 객관식 같고, 주관식보다 더 쉬운 문제처럼 보였다. 그러나 실상은 그게 아니었다.
잘못 고르면 감점이 있다는 점이 생각보다 치명적인 어려움이었다. "감점이 있는 다수선택형 시험"에서는 내가 모든 것을 정확히 알지 못하면 감점이 두려워 제대로 답을 고를 수 없었다. 주관식에서는 아는 것을 써볼 수 있지만, 이 시험에서는 애매한 선택지라면 차라리 선택하지 않고 점수를 받지 않는 것이 나을지, 감점이 되더라도 과감히 표시해볼지를 매 문항마다 고민해야 했다. 교수님의 전략인지, 그런 문제는 항상 문제 수가 많아 깊이 고민할 시간도 없었다.
정확히 알지 못하면 학점을 잘 받을 수 없는 시험, 그것이 "감점이 있는 선택형 시험"이었다.
그러나 학년이 올라가면서 더 어려운 형태의 시험이 있다는 것을 알게 되었다. 식물생리학 시험이었는데, 외울 것도 많았지만 생물학적 지식이 서로 연결되어 있어 단편적인 지식이 아니라 거시적으로 지식을 엮을 줄 알아야 했다. 나름 준비를 잘 했다고 생각하고 시험지를 펼쳤는데, 시험 문제가 희한했다.
"이번 학기에 수업 시간에 배운 범위 내에서 식물생리학 시험 문제를 출제하고 답안을 작성하시오."
이렇게 쉬운 문제가? 내가 문제도 내고 답도 쓰라는 것 아닌가? 이렇게 생각했지만, 그게 아니었다. 아주 쉬운 단답식 문제 하나를 쓰고 답을 적는다면 좋은 점수를 받을 수 없을 것이기 때문이다. 문제가 아무리 쉬워도 학점이 C, D라면 무슨 의미가 있겠는가.
그래서 나름 있어 보이는 문제를 고안하기 시작했다. 여러 분야를 아우르는 좀 어렵고 거시적인 지식을 필요로 하는 문제를 만들고 싶었다.
그러나 문제를 만들다 보니, 내가 여러 분야를 아우르는 그런 문제를 만들기에는 세부적인 지식이 부족하다는 것을 깨달았다. 교수님이 문제를 내시면 그 빈 곳을 메꿀 정도의 공부는 했지만, 내가 좋은 문제를 낼 만큼 정확하게 세부사항을 알고 있지 않다는 것을 그제서야 알았다. 예전에 "감점이 있는 선택형 시험"과 마찬가지로, 정확히 알지 못하면 좋은 학점을 받을 수 없는 시험 문제였다.
어쩌면 그런 문제를 낸 교수님들은 이미 일론 머스크적 사고를 하고 계셨던 것인지도 모르겠다. 일론 머스크는 채용 면접에서 두 가지 질문을 꼭 한다고 한다.
1. 인생에서 중요했던 스토리와 그 과정에서 내린 결정과 그 이유
2. 그 과정에서 다루기 가장 어려웠던 문제는 무엇이었고, 어떻게 해결했는지
일론 머스크는 이 대답을 통해 지원자의 진정성과 문제 해결 능력을 본다고 한다. 그런데 이런 이야기는 만들어낼 수도 있는 것이 아닐까? 이에 대해 일론 머스크는 이렇게 덧붙인다.
"정말로 어떤 문제를 해결한 사람들은 그 해결 과정의 세부 사항까지 정확히 안다. 하지만 문제를 해결한 척하는 사람들은 첫 단계 정도는 비슷하게 꾸밀 수 있을지 몰라도 결국 다음 단계를 설명하지 못하고 막힌다."
문제를 생각하고 해답을 생각했다는 것, 즉 "안다"는 것으로는 실제로 그 문제를 해결하기 위해 "행동"한 사람이 가진 세부 사항을 내놓을 수 없다는 것이다. 이는 마치 세부 사항까지 정확하게 알지 못하면 "감점이 있는 선택형 시험"이나 "직접 문제를 출제하고 답안을 작성하는" 시험 문제를 제대로 풀 수 없는 것과 다르지 않아 보였다.
이것은 멘토를 고를 때에도, 동료를 고를 때에도, 심지어는 사내에서 줄타기를 할 때에도 똑같이 중요하다. 실제로 어떤 일을 해보고 그 일을 바닥까지 아는 사람을 멘토로 삼고, 동료로 만들고, 그 뒤에 줄을 서야 한다. 그래야 배우는 것이 있고, 믿고 맡길 수 있다.
그래서 어쩌면 앞으로는 인공지능을 잘 쓰는 능력보다, 사람을 평가하는 능력이 점점 더 중요해질지도 모르겠다.