말하는 별, 챗지피티

아이들과 함께 만드는 작은 인공지능.5장. 멀티모달로 확

PART 1. 이야기로 여는 인공지능

5장. 멀티모달로 확장: 글뿐 아니라 그림과 소리까지 이해하려는 시도—GPT-4의 기술 리포트와 4o 시스템 카드.

1. 눈을 가진 로봇

이야기로 열기

옛날에 로봇은 책만 읽을 줄 알았어요.
글자만 보았지, 그림은 볼 줄 몰랐죠.

그런데 어느 날, 과학자들이
로봇에게 ‘눈’을 달아 주었어요.
로봇은 처음으로 그림을 보았고,
깜짝 놀라 말했어요.

“세상에! 이게 그림이야?”

그날 이후, 로봇은 그림 속에서
단서와 이야기를 찾아내기 시작했어요.
마치 보물찾기 탐험가처럼요.

비유로 풀기

이건 꼭 그림책을 읽을 때
글자만 보던 아이가
처음으로 그림을 보고
“아! 이 장면은 이렇게 생겼구나!”
하고 상상하는 순간 같아요.

그림은 글보다 빠르게
이야기의 느낌을 전해 주지요.
로봇도 이제 그걸 깨달은 거예요.

활동: 그림 탐험가 되기

선생님이 짧은 글 없는 그림(예: 아이가 강아지를 안고 있는 그림)을 보여줍니다.

아이들이 짝을 지어 그림 속 상황을 말해 봅니다. “강아지가 집에 처음 온 날 같아!” “아이 표정을 보니까 행복한 순간이야!”

서로의 해석을 들어 보고, 같은 그림이라도
다른 이야기가 나올 수 있다는 것을 느끼게 합니다.

배움의 씨앗

로봇은 이제 책 속 글자뿐 아니라
그림 속 단서도 읽을 수 있어요.
그래서 더 깊고 재미있는 대답을 할 수 있답니다.

그리고 우리도 마찬가지예요.
세상을 글자로만 보는 대신,
그림, 표정, 색깔, 풍경까지 본다면
더 많은 이야기를 발견할 수 있겠지요?

2. 귀를 가진 로봇

이야기로 열기

로봇은 이제 그림을 볼 수 있게 되었어요.
그런데 어느 날, 과학자들은 로봇에게 귀도 달아 주었어요.

처음 들은 소리는
작은 아이의 목소리였어요.

“안녕?”

로봇은 깜짝 놀라
조심스럽게 대답했어요.

“안…녕.”

그 순간, 아이는 크게 웃었어요.
그리고 로봇도 웃는 법을 배웠답니다.

비유로 풀기

이건 꼭 아기가 태어나서
처음으로 엄마 목소리를 듣고
방긋 웃는 순간과 같았어요.

소리를 들을 수 있다는 건
세상과 더 가깝게 이어진다는 뜻이지요.

활동: 소리 맞히기 게임

선생님이 여러 짧은 소리를 들려줍니다. 강아지 짖는 소리 종이 찢는 소리 웃음소리

아이들이 눈을 감고 어떤 소리인지 맞혀봅니다.

소리를 맞힌 후, 그 소리에서 느껴지는 감정을 함께 나눕니다. “강아지 짖는 소리는 반가운 느낌!” “종이 찢는 소리는 놀라움!”

배움의 씨앗

로봇은 이제 소리로 세상을 배울 수 있어요.
누군가 화내는 소리, 웃는 소리를 들으며
더 적절한 대답을 할 수 있게 되었지요.

그리고 우리도 마찬가지예요.
누군가의 말뿐 아니라
목소리 톤과 감정을 잘 듣는다면
훨씬 좋은 대화를 할 수 있겠지요?