생성형 AI 시대, 우리는 무엇을 평가해야 하는가?
AI 컨닝 사태...과정, 결과, 깨달음
이번 학기, 309명의 학부생과 함께한 초대형 온라인 강좌에서 기말고사 중 AI 부정행위 사건이 터졌습니다.
교육자로서, 인지과학을 공부하는 사람으로서, 이 사건은 단순한 부정행위 적발이 아니었습니다. 평가 시스템의 유효기간이 끝났다는 신호였고, AI 시대 교육과 조직 학습의 본질에 대한 근본적 질문을 대면하는 계기였습니다.
이 경험을 거칠게라도 나누고자 합니다.
1. 감시 비용 vs 신뢰 비용, 어느 쪽에 투자하는가?
이번 시험에서 트러스트락(보안 프로그램)을 쓰지 않았습니다.
309명이 각기 다른 환경에서 접속하는 상황. 기술적 형평성 문제도 있었지만, 더 본질적인 질문이 있었습니다.
통제와 감시로 학습자의 태도를 교정할 수 있는가?
각자의 컴퓨터, 네트워크, 디지털 리터러시 수준이 다릅니다. 무거운 보안 시스템은 본의 아니게 피해를 보는 학생을 만들 수 있습니다.
더 중요한 것은 기술로 꽁꽁 묶는다고 해서 사람의 마음이 바뀔까하는 고민이었습니다.
부정행위가 발견됐을 때, 저는 세밀하게 추궁하지 않았습니다. 조금은 모호한 공지를 띄우고 기다렸습니다.
교수가 학생을 잡아들이는 형태가 되면, 학생은 자기 성찰의 기회를 잃어버립니다. 그들이 배우는 것은 어떻게 안 걸리나 뿐입니다. 사제관계, 배움의 터전에서 신뢰는 무엇보다 중요한 가치입니다.
결과적으로 대다수 학생이 잘못을 고백했습니다. 저는 그들의 용기를 따뜻하게 수용했습니다.
끝까지 시스템 로그를 부인한 학생도 있었습니다. 로그상 도저히 받아들일 수 없는 주장을 펼쳤습니다. 마지막 기회를 줬습니다.
솔직하게 털어놓으시겠습니까, 아니면 재적의 위험을 감수하고 정밀 조사를 받으시겠습니까?
최후의 카드를 꺼낸 후에야, 그간의 모든 대화가 거짓이었다고 인정했습니다.
처음부터 고백했건, 마지막에 자백했건, 모든 학생에게 재시험 기회를 주었습니다. 패널티를 강하게 부여하고, 학점을 줬습니다.
실패를 해도 배움이 단절되지 않게 하는 것. 그것이 대학이라고 믿기 때문입니다.
2. 기억을 묻는 질문의 유효기간은 끝났습니다.
솔직히 고백해서, 제가 디자인하고 진행한 이번 시험은 실패입니다.
저는 AI 시대에도 머릿속 지식(생각의 재료)이 중요하다는 신념으로 지식을 복기하는 시험을 출제했습니다.
대규모 온라인 시험 시스템의 제약을 고려할 때 그 방법이 최선이라 생각했습니다.
생성형 AI가 발달해도 우리는 스스로 생각해야 합니다. 개인이 머릿속에 넣고 있는 지식은 생각의 재료입니다. 외부 기억장치, AI가 발달해도 우리 머릿속에 기본 재료를 품고 있어야 합니다. 수업 영상을 온전히 본 학생이라면 자연스레 기억에 남을 내용들을 물었습니다.
시험을 통해 배운 것을 복기하고 내재화하는 것, 그것이 학습의 본질적 의미라고 생각했습니다.
하지만 현실은 "기억하고 있는가?"를 묻는 시험은 비대면, 디지털 환경에서 더 이상 유효하지 않습니다.
지식을 머릿속에 넣는 것은 여전히 중요합니다. 생각의 재료니까요.
하지만 기억해 내는 능력만으로 역량을 평가하는 방식은 이제 끝내야겠습니다.
3. 증강(augmentation) vs 의지(reliance), 인지적 게으름과의 전쟁
다음 학기부터 시험 방식을 전면 개편하려고 합니다.
대규모 온라인 강좌의 온라인 시험에서도 AI를 전면 허용하려고 합니다.
이제 우리는 AI가 답할 수 있는 수준의 질문으로 인간을 평가해서는 안 됩니다.
AI에 의지하는 것과 AI로 확장하는 것은 다릅니다.
도구를 써서 사고를 넓히는 것, 증강은 권장해야 합니다.
그러나 도구에 생각을 의지해버리는 인지적 게으름은 막아야 합니다.
지식을 테스트하는 시험, 단순한 사고를 테스트하는 시험을 끝낼 계획입니다.
잡아내는 게임을 멈추고, 제대로 쓰는 법을 평가하는 게임으로 판을 옮기겠습니다.
AI를 활용해야만 시간 내에 풀 수 있는 문제. 그러나 AI가 내놓은 답을 비판적으로 재구성하고 자신의 통찰을 더해야만 통과할 수 있는 문제를 만들려고 합니다.
AI를 통해 인지를 증강해야만 넘어설 수 있는 테스트를 구성하려 합니다.
4. 미완의 존재들
우리는 모두 미흡한, 미완의 존재입니다. 그러기에 배웁니다.
가르치는 처지인 저도 그런 존재입니다.
이번 과정을 통해 마주한 저와 그들의 미흡함이 앞으로 더 나은 수업과 배움을 만들어가는 계기가 되리라 믿습니다.
