챗GPT를 대비한 중간고사
대학교수를 위한 중간고사 출제 노하우
챗GPT와 함께한 1학기는 뜨거웠다.
필자는 2월 챗GPT관련 전문가 세미나를 개최한 후로
갑자기 챗GPT 관련 교육전문가로 분류되어
1학기 동안 강연으로 만난 사람들만 수천 명에 달하는 기현상을 경험했다.
2023년 1학기는 챗GPT와 함께 시작해서 마무리한 듯하다.
1학기 동안 강연만 한 것은 아니고
틈틈이 투고도 하고 논문도 썼다.(물론 교내 저널 논문이긴 하지만...)
학생들과 1학기 동안 수업시간에 열심히 써보면서 장단점과 교육적 함의도 탐색했다.
지난 1학기 동안의 과정이 무색하게
2학기가 시작되자마자
생성 AI의 각축전에 불이 붙기 시작하더니
결국 2023년이 가기 전에 멀티모달 시대가 열리고 말았다.
(참고글 : 최승준 님의 페북 https://www.facebook.com%2Fseungjoon.choi%2Fposts%2Fpfbid0eMxenzjLULVNTwfgiH2y4aFsYkbxpxEaTxZ23jJFbgDGte7TBQtWXbd2De5F1VsMl )
말이나 글뿐만 아니라 오디오, 이미지, 비디오로 입출력하는 세상이 열리는 것이다.
생성 AI가 바꿀 세상의 변화가 티핑포인트를 지나고 있는 게 아닐까!
지난 한 학기 동안 학부생, 교대원생들과 디지털 리터러시 강좌 수업을 하면서
생성 AI를 여러 방면에서 접근하고 활용해 보았다.
주변에 교수님들과도 여러 가지 교육적 접근에 대해서 논의하였다.
이번 글에서는 대학에서 챗GPT를 대비한 중간고사, 기말고사의 출제 방법을 다루고자 한다.
먼저 교육자 관련 글을 읽고 오면 좋다.
https://www.weforum.org/agenda/2023/09/generative-ai-education-unesco/
- 유네스코 챗GPT 퀵 가이드북 :
- 유네스코 생성 AI 가이드 :
https://www.unesco.org/en/articles/guidance-generative-ai-education-and-research
이제 실질적인 중간고사 문제 출제 방법을 알아보자.
이 부분은 철저히 '김교수 뇌피셜'이므로 오류가 있을 수 있다는 점을 밝혀둔다.(바라건대 교수님들도 집단지성을 발휘해서 함께 모여 대응책을 마련하면 좋겠다.)
1. 수업시간에 챗GPT를 활용한다면 평가 때도 어떻게 활용할지를 결정해야 한다.
가) 수업시간에는 활용하되, 리포트나 시험에서는 절대 활용하지 않는다.
나) 수업시간에도 활용하고, 리포트 작성에도 활용한다. 다만, 시험에는 절대 활용하지 않는다.
리포트 작성 시에는 반드시 인용 방법에 따라 표기한다. 이때 부록으로 프롬프트를 첨부하라고 요청하는 것도 좋다.
다) 수업시간, 리포트, 시험에도 모두 허용한다.
2. 위에서 '다'를 선택한다면 여러 가지 준비가 필요하다.
가) 객관식이냐 주관식이냐, 단순 서술형이냐, 논술형이냐에 따라도 여러 가지 옵션이 존재한다.
나) 객관식은 챗GPT가 잘 푼다. 따라서 정말 중요한 개념과 지식이라면 학생들이 외우게 하고 챗GPT 없이 시험을 치르게 하는 것이 낫다고 본다.
-> 시험 시간 안에 다 풀 수 없을 만큼 양을 늘리면 된다. 이 방법은 출제자도 학생도 곤욕이다. 평가의 본질에 어울리는지는 모르겠다. 가능하면 권하고 싶지 않다.
다) 주관식의 경우 개념을 설명하는 문제는 챗GPT가 잘 푼다. 다만 전문적이고 세부적인 개념에 대한 답은 종종 엉뚱한 답을 하는 경우가 있으므로 채점할 때 주의 깊게 살펴봐야 한다. 문장은 그럴싸하나 정확한 사실이 아닌 경우가 종종 있다.
개념을 설명하는 일반적인 문제와 챗GPT의 대답
-> 개념을 설명할 때 반드시 개인적인 사례나 비유를 들어 설명하라고 제시하라고 요구하는 것이 좋다. 특히, 한국 문화나 사회현상, 최근 사례 등을 들어서 설명하라고 하면 챗GPT는 잘 못한다. 챗GPT는 구체적인 사례의 제목이나 상황을 정확하게 제시하지 못하고 일반적인 사례를 구체적인 사례처럼 그럴싸하게 제시한다.
구체적인 사례를 제시하라고 하면, 일반적인 사례로 말을 만들어서 예시로 든다.라) 논술형의 문제는 주장과 근거를 들어 챗GPT가 잘 대답한다.
처음에 논술하라고 했더니 일반적인 설명문처럼 답을 준다.
논술형 문제에서도 곧잘 대답하나, 답안이 형식에는 다소 어색하다.대학생이라고 페르소나를 부여하고 논술문제에 답하라고 했더니, 도입 부분부터 답안지 형식으로 작성해 준다. 대답이 역시 일반적이다.
대학생이라고 페르소나를 부여하자, 답안의 형식과 유사해졌다.-> 따라서 조금 구체적으로 개인적인 경험이나 최신 실제 사례를 추가해서 설명하라고 하라고 요구하는 것이 좋다. 여기서 또 다른 팁은 수업시간에 교수님들이 예를 들었던 사례나 비유 등을 통해서 설명하라고 제시하면 더더욱 잘 대답하지 못한다.
개인적인 경험에 비추어 설명하라고 해도, 일반적인 사례만 들어 설명한다.
카카오, 네이버의 사례를 제시하는 것 같지만 이 또한 일반적인 내용에 카카오, 네이버만 언급한 정도이다.챗GPT는 교수자의 경험과 수업시간에 사례를 정확히 알지 못한다.
3. 가장 좋은 방법은 다양한 평가 방법을 적용하는 것이다.
가) 현재 대한민국 초중고에서는 '과정중심평가'를 강조하고 있다. 과정과 결과를 모두 평가해서 학생의 성장을 돕겠다는 취지이다.
(참고자료: https://star.moe.go.kr/web/contents/m20300.do?schM=view&id=2831)
고등교육에서도 단순한 지식 암기 평가보다는 과정, 결과를 모두 평가할 수 있는 방법이 필요하다.
나) 시간과 여건이 허락되면 학생들과 직접적인 인터뷰, 발표, 포트폴리오 등의 다각적인 평가 방법을 적용하는 것이 좋다. 하지만... 대규모 강좌나 실습 강좌에서는 100명 넘는 학생들의 결과물을 제대로 평가하기란 불가능하다. 아이러니하게도 초벌 평가는 또다시 챗GPT에게 맡기는 현상이 벌어지고 있다.
다) 챗GPT가 답하지 못하는 고차원적인 통찰이나 가치, 인간 중심의 관점 등을 평가하는 문제를 만들어야 한다.
결론은 대학에서도 기존의 평가 방식이나 평가 문제를 다시 한번 점검하고 실제 학생들의 성장을 도모할 수 있는 평가 방법을 연구해야 한다는 것이다.
여기서 중요한 질문이 남는다.
대학에서 평가는 왜 하는 것인가?
