코딩 테스트의 종말

드디어 우리가 영화에서 보던 AI가 나왔다

요즘 프로그래머들 뿐만 아니라 AI에 관심 있는 사람들 사이에서는 ChatGPT라는 AI가 연일 화두에 오르고 있다. 이 AI는 우리의 질문에 정말로 친절하게 대답해준다. 그런데 우리는 이런 비슷한 AI를 이미 알고 있다. 바로 시리와 빅스비를 포함한 다양한 인공지능 비서들이다. ChatGPT는 이런 인공지능들과 뭐가 다르길래 이렇게나 화제일까? 차이점은 단순하다 바로 정확도와 범용성이다. ChatGPT에게 무엇을 물어봐도 거의 정확한 답을 알려준다. 이 AI에게 의사 면허 시험을 보게 했을 때 이미 100점 만점에 70점으로 평균을 웃돌며 통과했고 수능시험을 보게 했을 때는 3등급 이상을 맞는다. 

이렇게 발달한 AI가 유난히도 프로그래머들의 관심을 받는 이유는 다른 것이 아니다. 바로 ChatGPT에게 코딩 문제를 풀어달라고 했을 때 높은 확률로 해결하기 때문이다. 실제로 단순히 문제 사이트의 주소만을 알려주고 풀어달라고만 해도 1분 이내에 거의 완벽한 답을 내놓는 것을 볼 수 있다(자신이 만든 코드에 대한 해설과 함께).  

너무나도 빠르게 정확한 답을 냈다.

물론 프로그래밍이 이렇게 단순한 문제만을 해결하는 작업은 아니지만 최소한 간단한 문제 해결은 이제 인간의 손을 떠난 것 같다. 그리고 그동안 이러한 간단한 문제 해결을 평가하던 평가 시스템인 코딩 테스트는 더 이상 개발자들의 실력을 평가할 기준이 될 수 없어졌다. 누구나 AI에게 물어보면 1분 안에 정확한 답을 낼 수 있게 되었기 때문이다.

이제 프로그래머들은 코딩 테스트 말고 어떤 평가를 준비해야 할까?