ChatGPT와 함께하는 디지털 리터러시 교육 ⑤
챗GPT를 보조평가자로 채용하기
지난주는 중간고사 기간이었다.
내가 강의하는 과목은 대부분 실기이거나
이론과 실기가 혼합된 과목이다.
이론과 실기가 혼합된 과목의 중간고사는 주로 서/논술형 문제로 출제한다.
보통 4-5문제가 출제되는데, 학생들이 알아야 할 필수 개념을 설명하고 사례와 근거를 들어 뒷받침하는 간단한 문제부터 자신의 아이디어를 근거를 들어 주장하는 복잡한 문제까지 출제한다.
이번 학기에도 디지털리터러시 과목을 포함해서 2과목 정도 필기시험이 있었다.
챗GPT로 여러 가지 실험을 하는 터라 이번에는 평가에 적용해 보기로 했다.
챗GPT를 평가에 활용하는 방법은 다음과 같이 진행했다.
1. 학생들의 답안을 평가 기준에 따라 교수자가 먼저 평가한다. 즉, 강의자인 내가 먼저 평가했다. (문항에 따라 차이가 있지만 보통 나는 3-4가지의 기준을 가지고 평가한다.)
2. 학생들의 답안을 OCR 앱으로 인식해서 텍스트로 변환한다.(나는 vFlat 앱 https://www.vflat.com/ 을 이용했다.)
3. 택스트를 챗GPT에 입력하고 평가기준을 알려준 후, 평가해 보라고 명령한다.
4. 내가 평가한 수준과 비교해 본다. 여기서 두 가지 접근이 가능하다.
4-1. 먼저 내가 작성한 평가기준이 적합한지 무작정 평가해 보라고 한 후, 평가 기준을 검증하는 용도로 활
용할 수 있다.
4-2. 내가 평가한 결과가 객관적인지, 챗GPT의 평가 결과와 비교해 보면서 검증하는 용도로 활용할 수 있
다. 마치 동료 평가자를 옆에 둔 것처럼 말이다.
5. 이렇게 평가하는 절차와 기준이 마련되면 다음 학생의 글도 평가해 달라고 명령할 수 있다.
아직 모든 학생들의 답안을 평가하지 않았지만 시범 삼아 적용해 본 상황에서의 결론은 매우 성공적이라 할 수 있겠다.
앞으로 대학교육의 LMS에는 챗GPT를 활용한 평가 도구가
일반화될 것이라 예상해 본다.
모든 문항에 대해서 적용해 보지 않아서 단정할 수는 없지만 위의 프로세스를 일반화하는 것도 가능하리라 본다.
이렇게 되면 평가자의 문제와 평가기준 설정이 매우 중요해진다.
학생들에게 선다형, 단답형으로 암기와 이해의 정도를 묻는 문항보다는 기본 개념을 바탕으로 개인의 경험, 아이디어, 적용 방안 등을 확인하는 문제를 만들어야 하고, 평가기준도 중고등학교의 수행평가 루브릭처럼 제대로 만들어져야 한다.
(그런데 대학 교수님들은 평가 루브릭을 만들어 보셨을까 문득 궁금해진다.)
만약 온라인 환경에서 시험을 치른다면 챗GPT의 사용은 창과 방패의 싸움이 될 것이다.
창과 방패에 대한 싸움은 좀 더 지켜봐야 하는 상황이므로 당분간 대학교육에서의 이론 평가는 앞서 설명한 것처럼 '핵심 지식을 자신의 생각과 경험에 빗대어 설명할 수 있는지를 평가하는 문제를 제시하고, 직접 손으로 작성하게 하는 방법'으로 접근하는 것이 좋겠다.
최근에 페북에서 우연히 초대된 그룹(ChatGPT for teacher)에서 소개받은 사이트인데, 수업 계획을 짜주고 학생들에게 공지해 주는 등의 기능이 있다.
https://www.eduaide.ai/app/assistant
앞으로 이런 식의 교육용 도구가 무수히 쏟아져 나올 것 같다.
이렇게 되면 고등교육에서의 '교수평기'*는 챗GPT를 활용하는 것이 당연한 것처럼 되지 않겠는가!
수업 계획을 짜주고, 평가를 도와주는 인공지능 조교가 생긴다면
교수자는 수업에 더 집중하게 될까?
챗GPT가 가져올 교육의 변화가 어떤 방향으로 전개될지 궁금해진다.
*최근 K-12 교육현장에서 중요하게 생각하는 이슈로 교육과정-수업-평가-기록의 일체화를 추구하고 있다.
