#41 AI 내부 구조는 토큰→패턴→확률→다음 토크

AI 사고 루프 41회

AI 내부 구조는 토큰→ 패턴→ 확률→ 다음 토크


AI의 내부에서 벌어지는 일은 이렇게 정리할 수 있다.


1) 토큰으로 분해


입력: “논리적으로 설명해줘”


분해: “논리적으로 / 설명해줘”


2) 패턴 인식


“논리적으로”라는 토큰이 나오면

과거 데이터에서 함께 자주 등장한 패턴들을 떠올린다.

예: “단계별로”, “근거를 들어”, “구조적으로”, “원인과 결과를 나눠서”


3) 확률 계산


지금까지의 대화 맥락 + “논리적으로”라는 단어가 결합된 상황에서

다음에 올 토큰 후보들의 확률을 계산한다.


4) 다음 토큰 출력


가장 확률이 높은 토큰을 한 개 찍어서 출력한다.

그리고 그 결과를 다시 입력에 붙여 넣고,

그 다음 토큰을 또 계산한다.


이 기계적인 반복이...

우리가 보고 있는 “부드러운 문장”으로 나타날 뿐이다.
keyword
매거진의 이전글#40 AI는 언어를 이해하지 않는다