생성형 AI는 딥러닝을 기반으로 사용자의 요구에 따라 새로운 데이터나 콘텐츠를 만들어내는 기술이에요. 딥러닝이란, 인간의 뇌 신경망을 모방하여 데이터를 계층적으로 학습하고, 그 패턴을 통해 추론하는 AI 기술이다.
생성형 AI는 실제 데이터와 유사한 산출물을 만들어내는데 초점을 맞추고 있다. 이를 위해 인공 신경망이라는 학습 모델을 사용한다. 인공 신경망은 인간의 뇌가 동작하는 원리를 모방해 구현한 학습 알고리즘이다. 예로 들어보면, 인공 신경망은 여러 개의 입력(예: 이미지)을 받아 계산하고 출력(예: 클래스 라벨)한다.
- 가중치(weight)
계산 과정에서 각각의 연결마다 가중치라는 값이 사용되는데, 이 가중치는 학습 목적에 따라 업데이트된다는 것이다.
1). 이미지 분류 학습 과정
개와 고양이의 이미지를 분류하는 학습 데이터가 주어졌을 때, 데이터가 추가될수록 인공 신경망의 가중치(여기서는 검은 실선으로 표현된 기울기)는 개와 고양이를 잘 구분하는 방향으로 조정된다.
더 많은 학습 예제가 추가됨에 따라 선형 경계를 업데이트하는 퍼셉트론을 보여주는 다이어그램
2). 언어 모델 학습 과정
문장 제일 앞에 있는 단어인 “Thou”와 “shalt”가 입력으로 주어졌을 때 그다음 단어인 “not”이 예측 결과로 출력되도록, 또 그다음 순서인 “shalt”와 “not”이 입력 주어졌을 때는 “make”가 결과로 출력 되도록 학습시키는 것을 말한다.
생성형 AI - 언어 모델 학습
인공 신경망을 통해 예측된 단어가 실제 그다음에 올 단어가 아니라면 오차를 계산하여 인공 신경망의 가중치 값을 조정하는 방식으로 학습이 진행된다.
- 이와 같은 과정을 통해 학습된 언어 모델은 입력으로 주어진 문장 다음에 올 단어의 분포를 주어진 데이터로부터 확률적으로 학습했다고 할 수 있으며 한 단어씩 예측하는 과정을 반복함으로써 문장 또는 여러 문장으로 구성된 텍스트를 최종 결과물로 생성하여 제공한다.
이미지 생성 모델이나 오디오 및 음악, 비디오 생성 모델 등 콘텐츠의 타입별로 다양한 모델들이 존재
- 각 모델별로 학습 방법에 차이는 있지만 학습 데이터의 분포를 확률적으로 가장 잘 예측할 수 있도록 인공 신경망의 가중치 값을 조정하는 과정임에는 변함이 없다.
※ 생성형 AI의 학습을 위해 이용되는 데이터는 그 형태가 이미지, 텍스트, 오디오 등 그 어떤 것이든 인공 신경망의 가중치 값을 조정하기 위해 오차 및 변화량을 계산하는 목적으로 이용되며, 일반적으로 인공 신경망 내에 원본 데이터 값이 직접 저장되거나 남아있는 것은 아니라고 볼 수 있다.
다음 시간에는 대규모 언어 모델(Large Language Model, LLM)에 대해 이야기해보겠습니다.