생성형 AI의 원리와 한계
생성 원리, 분야, 후속 학습, 유의 및 한계점
1) 생성형 AI
기존데이터를 기반으로 새로운 콘텐츠를 생성하는 AI. 텍스트, 음악, 이미지 등 NLP(자연어처리)에서 발전하여 사용된다. 이미지 생성은 주로 딥러닝 기술을 사용하며 복잡한 신경망을 통해 이루어짐. 생성형 AI는 기존의 데이터를 기반으로 새로운 콘텐츠를 생성하는 AI로 주로 딥러닝 기술을 사용합니다. 방대한 데이터와 강력한 컴퓨팅 파워를 필요로 하지만 텍스트, 이미지, 비디오, 음성 등 다양한 형태의 콘텐츠를 생성합니다.
GPT : 방대한 양의 텍스트데이터 학습한다. + 자연어처리 NLP 기술, 예술 디자인 다양한 분야에서 창의적인 결과물을 만들어냄.
신경망 : 순전파(입력데이터를 받아서 출력을 생성한다.), 역전파(출력값의 오차를 계산한다) - 반복 학습을 통해서 더욱 정확하게 결과를도출하도록 함.
2) 트랜스포머(Transformer)
트랜스포머는 2017년에 발표된 “Attention Is All You Need”라는 논문에서 처음 소개되었다. 다양한 딥러닝 분야에 적용되었습니다. 트랜스포머의 핵심은 Attention 메커니즘으로 Attention 메커니즘은 입력 데이터 중 중요한 부분에 집중(Attention)하여 학습하는 것입니다. 예를 들어 문장 내 각 단어의 중요도를 계산하여 중요한 단어에 큰 가중치를 부여하여 문장의 의미를 명확하게 이해합니다. 대표적인 모델은 GPT.
생성형 AI의 기본 원리 | 입력 데이터의 분포와 특징을 학습하여 새로운 데이터를 생성할 수 있는 능력을 학습함.1. 입력: 입력 데이터(텍스트, 음악, 이미지 등 다양한 형태를 제공) 모델에 적합하게 변환하고 적합하게 전처리 해주는 과정도 포함. 예를 들어 텍스트 데이터의 경우 문장을 쪼개는 토큰화, 불필요한 문장을 제거하는 것들이 필요하다
2. 패턴학습: 입력 데이터를 분석해서 특징과 패턴을 학습하는 과정이다. 딥러닝 알고리즘과 신경망(여러 층의 레이어로 나눠서 처리한다. 순전파와 역전파)의 구조를 통해 데이터의 복잡한 패턴과 관계를 학습한다.
3. 출력: 학습한 패턴을 바탕으로 새로운 데이터를 생성하는 과정. GPT의 경우 방대한 양의 텍스트데이터를 학습해서 주어진 문맥에 맞는 새로운 문장을 생성한다.
3) 생성형 AI의 분야
GAN(Generative Adversarial Network) : 겐이라고 읽고 생성자(generator) VS 판별자(discriminator) 서로 경쟁을 하면서 성능을 향상 시킨다. 압력 데이터와 비슷한 가짜 데이터를 만드는 생성자와 데이터의 진짜, 가짜 여부를 판단하는 판별자가 경쟁하면서 사실 같은 데이터를 생성하는 모델. 점점 더 사실적인 결과를 생성한다. 이 과정을 수천번을 반복하면서 동시에 성능이 향상된다. 분야는 텍스트, 이미지 비디오, 음악 생성에서 다양하게 활용. 이미지 생성의 경우 저해상도 -> 고해상도, 스타일 변환 등, 음악 트랙 생성, 모방 가능
VAE(Variational Auto Encoder) : VAE는 인코더(Encoder)와 디코더(Decoder)로 구성되어 있습니다. 인코더는 입력 데이터를 잠재 공간에 압축하면서 데이터를 학습하여 평균과 분산이라는 파라미터로 표현한다. 디코더는 잠재 공간의 압축된 데이터를 원래 데이터로 복원합니다. 파일 압축하는 것과 닮아있다. 사용은 이미지 생성의 패턴을 학습 유사한 새로운 이미지를 생성할 수있다. 고차원적으로 복원한다. 데이터 압축했다가 고차원으로 복원하기 때문에 이상 데이터를 탐지하는 것에도 유용한 알고리즘.
GPT(Generative Pre-trained Transformer): 사전학습(Pre-Training) VS 미세조정(Fine-Tuning)으로사전학습(Pre-Training) GPT가 대규모 텍스트 데이터에서 학습을 시작. 문법이나 어휘 복잡한 언어들의 패턴을 학습. 미세조정(Fine-Tuning), 특정 작업(task)을 위해 맞춰서 모델을 추가 학습하여 특정 도메인이나 작업에 높은 성능을 낼 수 있도록 한다. 예를 들어 고객서비스의 응답할 수 있도록 미세조정 가능하고 뉴스 기사를 생성할 수 있도록 만들어주거나 의류 정보를 제공하기 위해서 미세조정이 가능하다. 일반적 언어 패턴뿐만 아니라 특정 목적을 위한 대화가 가능하다. 텍스트 생성, 요약, 번역 유용하게 사용 가능.
4) AI 후속 학습
• GPT API 활용
챗GPT 사용했었는데 다양한 어플리케이션에 GPT모델을 통합해서 이용할 수 있도록 지원한다. 맞춤형 챗봇, 상담사 제작도 가능.
• RAG(Retrieval-Augmented Generation)
챗GPT는 기본적으로 방대한 양의 텍스트 기반으로 학습하기 때문에 프롬프트 응답 제공, 기업이 가진 데이터를 가지고 응답을 생성한다. 기업 데이터를 챗GPT에 제공하면 보안에 문제를 일으킬 가능성이 있다. 프라이빗 데이터 베이스 혹은 문서를 생성형 AI에 지식을 제공하는 기술이 RAG기술. Transformers 모델 활용, Bert (양방향 학습하는 모델), Open AI GPT, ELMo 후속 연구들이 많다.
생성형 AI의 한계
데이터의 편향 가능성 : 데이터의 다양성과 공정성을 확보하는 것이 중요하다.
모델의 제한된 이해력 : 학습된 패턴을 기반으로 작동하기 때문에 새로운 상황과 맥락을 이해하기에 한계가 있다.
Hallucination 할루시네이션 : 모델이 실제로 존재하지 않는 정보를 생성할 수 있다. 텍스트 생성 모델이 팩트가 아닌내용을 사실인것처럼 설명할 때 있다. 문제를 해결하기 위해 검증하는 개선이 필요하다.
윤리적문제
개인정보 보호 : 개인정보를 학습하면 유출될 우려가 있다. 개인정보 보호법 준수가 필요하다. 데이터가 외부로 노출될 경우 보안체계가 잘되어있는 검토하는 과정이 필요하다.
악용 가능성 : 가짜 뉴스를 생성하거나 딥페이크 영상 제작으로 사회적 혼란을 일으키거나 개인 명예 훼손할 수 있음 -> 악용을 모니터링하여 대응할 수 있는 시스템 마련 필요하다.
내용 출처
Generative AI naver boost camp
