말하는 별, 챗지피티

아이들과 함께 만드는 작은 인공지능. 14장

PART 3. 교실에서 만드는 작은 책지피티(실습 로드맵)

14장. 작은 트랜스포머 세우기: 나노GPT/미니 구현으로 1~3개 블록짜리 소형 모델 훈련해 보기.

“거대한 GPT도, 작은 블록 하나에서 시작됐다.우리가 세운 단 하나의 층은AI가 말을 배우는 첫 심장이다.”

1. “단숨에 세우는 작은 로봇 머리”

(트랜스포머 블록 이해하기)

AI가 어떻게 ‘생각’하는지 알고 싶다면,
먼저 아주 작은 비밀 하나를 알아야 해요.

그 비밀은 거창한 것도, 어려운 것도 아니에요.
바로 작은 블록 하나입니다.

작은 블록 하나에서 시작된 기적

어느 과학자는 이런 말을 했어요.
“거대한 GPT도, 결국 작은 블록이 쌓여 있을 뿐이다.”

우리가 레고로 큰 성을 만들 때
한꺼번에 왕궁을 뚝딱 만들지 않잖아요?
먼저 바닥 벽돌 하나를 딱 놓고,
그 위에 기둥 하나, 성벽 하나씩 올리죠.

GPT도 똑같아요.
**Attention(어텐션)**이라는 작은 눈동자 같은 블록,
그리고 **Feed-Forward(피드포워드)**라는
작은 생각 상자 같은 블록을
층층이 쌓아 만든 ‘생각 건물’이에요.

오늘 우리는 그 건물의
단 1~3층짜리 작은 버전을 직접 만들어보게 될 거예요.
즉, 거대 AI가 태어나는 바로 그 순간—
첫 씨앗을 만나는 시간이에요.

트랜스포머는 AI의 레고 성

아이들은 금방 이해해요.
“아~ 이건 레고네!”

그렇죠, 트랜스포머는 레고처럼 생겼어요.
단지 색깔 대신 수학이 칠해져 있고,
모양 대신 집중하는 법과 생각을 정리하는 법이 들어 있죠.

하지만 놀라운 건 이것이에요.

“트랜스포머 블록 하나만 이해하면,
GPT 전체가 어떻게 생각하는지 거의 다 이해한 거나 마찬가지다.”

그만큼 핵심이 단순하고 아름다워요.

교실 활동 시간

① ‘트랜스포머 블록 구조 따라 그리기’

Attention → FFN → Normalization → Residual
블록 4개를 색연필로 그려보고 연결해봐요.
아이들은 순식간에
“아하! 이게 하나의 생각 사이클이구나!”를 이해해요.

② ‘1층짜리 미니 GPT 흐름 따라가기’

문장 한 줄이 들어오면 어떻게 지나갈까?
토큰 → Attention → 다음 토큰 예측
친구들끼리 돌려가며 역할극처럼 해봅니다.

③ ‘입력 → 다음 단어 생성 게임’

한 학생이 “강아지가”라고 말하면,
다른 학생은_attention 역활을 맡아_ 중요한 말을 찾아주고,
마지막 친구가 “웃었다” 같은 다음 단어를 예측해요.
AI의 뇌가 놀랍도록 사람과 비슷하다는 걸 느끼는 시간!

학습 포인트

GPT는 수백 층처럼 거대해 보여도
핵심은 작은 블록 하나에 모두 담겨 있다.

거대한 AI 모델도
단 한 층의 ‘생각 회로’에서 시작된다.

아이들은 이 블록 하나만 이해해도
“아, AI는 이렇게 생각하는구나!”라는 감각을 얻게 된다.

2. “나노GPT로 미니 뇌 만들기”

(직접 모델 훈련 실습)

AI가 정말 ‘생각’할 수 있을까요?
그렇다면 그 생각은 얼마나 큰 공간에서 일어날까요?
놀랍게도, 그 시작은
조금의 글자와 한 줌의 규칙만 있어도 됩니다.

작은 GPT의 탄생 — 나노GPT 이야기

과학자들은 GPT가 어떻게 배우는지
아이들에게도 보여주고 싶었어요.
하지만 진짜 GPT는 너무 크고 복잡했죠.

그래서 과학자들은 이렇게 말했어요.

“그러면 아주 작게 줄여보면 어때?”

그렇게 태어난 것이 **나노GPT(NanoGPT)**입니다.
거대한 GPT를 손바닥 위에 올려놓은 것 같은,
뇌 구조는 그대로 두고 크기만 쏙 줄인 모델이에요.

재미있는 사실은요—
이 작은 GPT도 문장 10개만으로 새로운 문장을 만들어낼 수 있다는 것!
마치 단어 몇 개만 배운 아기가
갑자기 자기만의 말을 만들어내는 것처럼요.

오늘 우리는 이 나노GPT를 가지고
**“우리 반만의 작은 언어모델”**을 만들 거예요.
세계 어디에도 없는,
이 교실에서만 태어나는 특별한 GPT예요.