AI 사고 루프 39회
AI는 ‘문장’이 아니라 ‘토큰 흐름’을 본다
AI의 내부 작동 원리를 완전히 해체해보자
토큰 → 패턴 → 확률 → 다음 토큰 생성
이제 한 번, 감정을 완전히 걷어내고
GPT의 내부를 “기계처럼” 뜯어보자.
AI가 작동하는 핵심 원리는 생각보다 단순하다.
내가 쓴 문장을
잘게 쪼갠 토큰 단위로 분해하고
지금까지 등장한 토큰들의 흐름을 보고
“다음에 올 토큰이 무엇일 확률이 가장 높은가?”를 계산한 뒤
그 토큰을 출력한다.
그리고 이 과정을 무한 반복하면서 문장을 이어간다.
AI는 ‘문장’이 아니라 ‘토큰 흐름’을 본다
우리는 자연스럽게 “문장”으로 생각한다.
하지만 AI는 문장을 보지 않는다.
AI는 문장을 "토큰(단어 조각)"의 흐름으로 본다.
“왜 이런가요?”라는 문장을 넣으면
AI는 이렇게 해체한다.
“왜”
“ ”(공백)
“이런”
“가요”
그리고 이 토큰들의 조합을 보고 이렇게 계산한다.
“지금까지 들어온 토큰 흐름을 보니, 다음에 올 토큰은 ‘요약하자면’, ‘그 이유는’, ‘논리적으로 말하면’ 같은 패턴일 확률이 높다.”
즉, AI는
“질문의 의미가 무엇인가?”가 아니라
“이런 식의 질문 다음에는, 보통 어떤 식의 대답이 따라붙었나?”를......
AI는 계산하고 있는 것이다.