ChatGPT에게 논술 채점을 해보라고 했다
국어과 사회과에서는 써봐도 될듯한데.
시간은 확확 흘러가고 있다. 벌써 6월이 중순이 되었고, ChatGPT를 수업 중에 학생들에게 시연하며 여러 기능을 함께 써보았다. 그러는 사이에 지속적으로 교육청에서는 새로운 공문이 오곤 해, 학교 단위로 AI 활용 계획을 고민해야 하는 나로선 혼자만의 고민으로 끝내기 어려웠다.
AI 활용 교육의 핵심은 인공지능이 제공하는 막강한 개별화 코칭 능력이었다. 학교교육이 가지고 있는 선택지의 부족, 개별 피드백의 부족, 학교의 시공간적 제약들을 인공지능과 스마트기기 활용하면 해결할 수 있다. 거기에 교사의 현장 처방이 더해지면 실제로도 충분한 개별화교육이 가능하다. 바로 이것이 교육청이 바라는 것이기도 하다.
그런 교육청의 고민은 더욱 여러가지 정책사업으로 학교에 하달되었고, 나는 이번에도 새로운 사업의 예산을 신청하기 위해, 영어 외의 다른 교과에 GPT가 사용 가능할지 여부를 찾아보기로 했다. 그 시작은 논술이었는데, 에듀테크의 주된 목표가 논술 채점의 자동화에 있음을 최근에 책을 통해 알게되었기 때문이다.
에듀테크에 대한 연구가 시행되어 온 미국에서는 에세이 채점의 자동화 역시 주된 관심이었고, 현재에 이르러선 이 역시 상당히 발전된 수준을 보여준다고 한다. 그래서 국어과와 사회과에도 AI 활용 교육이 가능한지 여부를 타진해보기 위해, 먼저 교과서에 있는 영어 지문을 보고 ChatGPT에게 명령어를 입력했다.
can you assess logical consistency of this? : (다음 글의 논리적 일관성을 평가할 수 있겠니?)
Many people think that they should look at calming colors when they are angry or irritated. Because the color red excites the emotions, they may think that looking at it will make them angrier. However, this picture shows that the opposite can be true. By looking at the color red here, you can release your anger. This picture is actually helping you calm down. The woman in the picture is standing in a vividly red room and is placing fruit in a bowl. She seems to be carrying on her work in silence. As you watch the woman working dutifully at her task in this red room, your anger melts away instead of getting worse. In addition, the yellow fruit on the table brings out positive and cheerful emotions. At the same time, the green and blue space outside the window causes healing and relaxing feelings. The existence of these cool colors actually makes the “heaviness” of the red colors appear a bit lighter. Although the color red is dominant, it works together with the various contrasting colors to form a harmony. Seeing this balance keeps you from becoming overwhelmed by your emotions and helps you overcome your anger. As the painting’s title suggests, this must be the power of the harmony in red.
위 글은 고등학교 1학년 영어 교과서에 담긴 지문이다. 미술에 대한 짧은 소개글인데, ChatGPT는 다음과 같은 논리성에 대한 평가를 했다.
논리적인 관점에서, 이 구절은 의문을 제기할 수 있는 몇 가지 요소를 포함하고 있습니다. 그것은 많은 사람들이 화가 났을 때 차분한 색깔을 보는 것을 믿는 일반화를 제시하지만, 그것은 이 주장을 뒷받침할 어떤 증거나 참고 자료도 제공하지 않습니다. 또한, 이 글은 객관적인 증거나 과학적인 연구보다는 주관적인 해석과 개인적인 경험에 크게 의존합니다. 색이 감정에 미치는 영향은 사람마다 다를 수 있고, 특정 색의 감정적 영향에 대해 포괄적인 진술을 하는 것은 어렵습니다.
게다가, 이 구절은 감정 반응의 개인적 차이와 다양성을 다루지 않습니다. 설명된 그림이 일부 개인에게는 진정 효과가 있을 수 있지만, 모든 사람에게 해당되지는 않을 수 있습니다. 사람들의 감정적 경험은 다양한 면을 가지고 있으며, 색깔만을 넘어 다양한 요소들에 의해 영향을 받습니다.
결론적으로, 본문은 색과 감정의 관계에 대한 주관적인 관점을 제시하지만, 그것은 보편적으로 적용 가능하거나 과학적으로 뒷받침되는 주장을 입증하기에 충분한 논리적이고 경험적인 증거가 부족합니다.
놀랍게도 AI님께서는, 글의 주장과 근거를 구분하여 해석하고, 주장에 해당하는 문장에 대한 근거가 부재함을 지적하고 있었다. 또한 객관적 증거와 주관적 해석을 구분해서 평가했다.
이 정도라면, 국어나 사회 교과 논설문의 평가가 굉장히 수월해질 수 있고, 언택트 상황에서 대규모의 처리까지 가능해보인다.
영어 지문으로 된 글을 분석했다면, 파파고를 통해서 우리말로 된 지문을 영어로 바꾼 뒤, 그것을 분석해보라고 할 수 있을 것 같다. 그래서 아래의 나의 글을 파파고로 번역한 뒤, ChatGPT에게 평가를 해보라고 했다.
https://brunch.co.kr/@coexistence/748
Can you assess logical consistency of this?
There is a movie called La Choumong. It is the representative work of legendary master Akira Kurogawa, ...
그랬더니 ChatGPT의 답변은, 퍽 흥미로운데.
제공한 글에는 여러 가지 아이디어와 다양한 영화 및 개념에 대한 참조가 포함되어 있어 논리적 일관성을 평가하는 것이 다소 복잡합니다. 하지만, 저는 본문의 내적 일관성을 평가하려고 합니다.
구로가와 아키라의 명작이라 일컬어지는 라 추몽이라는 영화를 소개하면서 사건에 연루된 여러 관계자들의 입장에서 서로 다른 진실 해석을 선보이는 것으로 통로는 시작됩니다. 이 영화의 기초가 되는 아쿠타가와 류노스케의 원작을 읽었다고 언급하고, 원작 소설에 존재하는 상반된 시각의 분위기가 영화 속에 여전히 살아 있음을 인정합니다.
그런 다음 이 구절은 진실에 대한 다른 관점과 해석을 탐구하는 히어로와 라스트 듀얼과 같은 다른 영화들에 대해 논의하는 것으로 넘어갑니다. 이 영화들은 라추몽과 마찬가지로 하나의 사건에 관련된 서로 다른 인물들에 의해 사실이 다르게 인식되는 시나리오를 제시한다는 것을 시사합니다.
본문의 다음 섹션은 교육적 맥락, 특히 학교 내에서 과목과 관점의 다양성에 초점을 맞춥니다. 아이들이 공부하고, 교사가 가르치고, 학교장이 감독하고, 학부모가 참여하는 것과 같은 행사가 다양한 관점에서 다르게 인식될 수 있다는 점을 강조합니다. 자신의 세계관을 좁히기보다 협상과 인식 차이 극복의 필요성을 강조합니다.
그리고 나서 이 구절은 앞에서 논의된 영화와 학교와 부모, 그리고 교사와 부모 사이의 관계 사이에 유사점을 그립니다. 이는 이러한 관계가 부모와 교사가 동일한 문제에 대해 서로 다른 관점을 가지고 있는 현실에 대한 상반된 인식을 포함한다는 것을 시사합니다. 각 당사자가 인식하는 서로 다른 사실을 바탕으로 협상과 해결책 모색의 필요성을 언급하고 있습니다.
이 글은 사실의 객관성을 증명하고 자신의 진실을 밝히는 데 있어서 대화와 글쓰기의 중요성을 강조하는 것으로 끝을 맺습니다. 그것은 포스트모던 시대와 진실에 접근하기 위한 실질적인 노력의 중요성을 언급합니다. 저자는 학교 교육에 대한 부모의 참여에 대한 토론에 참여한 그들의 개인적인 경험과 그 토론에서 마주치는 다양한 관점을 공유합니다.
논리적인 관점에서, 이 구절은 개인적인 경험, 영화에 대한 언급, 그리고 철학적인 개념들의 혼합을 포함합니다. 그것은 상반된 관점의 아이디어와 대화와 협상의 필요성을 탐구합니다. 제시된 아이디어는 지적으로 자극적일 수 있지만, 문장은 명확하고 응집력 있는 구조가 부족하여 엄격한 의미에서 논리적 일관성을 평가하기 어렵습니다. 그러나, 각 섹션 내에 제시된 아이디어는 일반적으로 서로 연결되고 서로를 기반으로 구축되며, 서로 다른 관점과 진실을 찾는 전반적인 주제에 기여합니다.
ChatGPT를 통해 우리말로 된 에세이를 파파고로 번역하고, 그에 대한 분석을 물은 뒤 다시 우리말로 번역해보니, 아이들의 에세이를 전자문서로 받기만 하면, 혹은 수행평가를 스마트기기로 시행하기만 해도, 교사의 채점부담을 확 줄일 수 있다. ChatGPT가 지적하는 내용들은 퍽 설득력 있게 보인다.
그럼 점수는? 다음과 같이 명령해보았다.
then can you rate the article along criteria below : 그럼 아래 채점표로 점수를 메겨줘.
Creativity from 1 to 5 (5 is best) 창의력
Logical Consistency 1 to 5 (5 is best) 논리적 일관성
Sentences' correlation 1 to 5 (5 is best) 문장의 연결성
Persuasiveness 1 to 5 (5 is best) 설득력
그리고 나는...글을 썩 잘 쓴 건 아니구나!?
제공된 기준에 따라 기사에 대한 등급은 다음과 같습니다:
창의력: 3
이 기사는 상반된 관점과 진실을 찾는 것과 관련된 다양한 영화, 개념, 그리고 개인적인 경험을 다루고 있습니다. 다양한 아이디어와 참고 자료를 소개하지만 완전히 참신하거나 획기적인 통찰력을 제공하지는 않습니다.
논리적 일관성: 3
그 기사의 논리적 일관성은 중간 정도입니다. 각 섹션 내의 아이디어는 일반적으로 서로 연결되고 서로를 기반으로 구축되지만, 서로 다른 주제와 참조 사이의 전환은 더 원활해질 수 있습니다. 일부 진술과 연관성은 보다 명확한 추론과 뒷받침하는 증거로부터 이익을 얻을 수 있습니다.
문장의 상관관계: 3
문장 간의 상관관계는 합리적이지만 개선의 여지가 있습니다. 문장과 단락 사이의 흐름은 더 강력한 전환과 아이디어 간의 더 명확한 연결로 더 일관될 수 있습니다. 일부 문장은 연관성을 완전히 이해하기 위해 연결이 끊어진 것처럼 보이거나 추가적인 맥락이 필요합니다.
설득력: 2
그 기사는 독자들에게 어떤 특정한 관점이나 주장을 강하게 설득하지 못합니다. 다양한 아이디어, 영화 및 개인적인 경험을 제시하지만, 응집력 있고 설득력 있는 주장을 구축하거나 주장을 뒷받침할 강력한 증거를 제공하지는 않습니다. 독자들에게 특정한 입장을 납득시키기보다는 다양한 관점을 제시하는 데 초점을 맞춥니다.
이러한 등급은 주관적이며 주어진 기준에 따른 텍스트 평가를 기반으로 합니다. 독자마다 해석과 평가가 조금씩 다를 수 있습니다.
점수는 교사가 설정한 목표에 따라 다를 수 있다. 그러나 저러한 평가 코멘트에 약간의 교사의 수정만 가한다면, 아이들의 에세이 수행평가 및 개별피드백이 더 빠를 수 있을 것 같다.
개별 피드백도 받아봤다.
so, can you suggest some? such as...for the first paragraph? 그럼 네가 좀 고쳐볼래? 예를 들어...첫 문단?
그렇고말고! 다음은 첫 번째 단락을 개선하기 위한 몇 가지 제안 사항입니다:
라 추몽의 중요성을 명확히 하라: 왜 그것이 걸작으로 여겨지는지, 그리고 진실에 대한 다른 해석을 보여준다는 점에서 무엇이 그것을 돋보이게 하는지에 대해 더 구체적인 세부사항을 제공하라.
예: "전설적인 거장 쿠로가와 아키라의 걸작으로 칭송받는 라추몽은 단 하나의 사건에 얽힌 다양한 관계자들의 다양한 관점을 탐구하면서 진실의 다면성을 능숙하게 묘사하여 관객들을 사로잡습니다."
아쿠타가와 류노스케의 작품의 관련성 확립: 아쿠타가와의 원작 소설인 "숲 속에서"와 "라쇼몬"이 영화의 특징적인 분위기에 어떻게 기여하는지 설명하여 상반된 설명과 그 영향에 대한 생각을 강화합니다.
예: "아쿠타가와 류노스케의 생각을 자극하는 작품인 '부시에서'와 '라쇼몽'에서 영감을 얻어, 언급된 모든 사실이 서로 다른 상황의 독특한 분위기를 성공적으로 되살려 간결한 서술에서도 호기심을 불러일으킵니다."
이러한 제안을 통합함으로써, 이 단락은 더 명확한 맥락을 제공하고 영화의 중요성과 원작 소설과의 연관성에 대한 독자의 이해를 높일 수 있습니다.
앞으로도, 더욱 대화형 인공지능은 발전할 것 같다. 지금 학교교육에서 공정성 문제로 인하여 수행평가에 대한 교사의 역량에 대한 불신 풍조가 거세고, 그로 인해 논술형 평가는 제 기능을 못하고 있다. 현재 단계의 기술 수준으로도 이정도의 에세이에 대한 분석 및 평가, 채점, 피드백까지 가능하다니, AI 활용 교육, 해보면 해볼수록, 꽤나 재밌다.
