4. 챗GPT,RAG-2024
나만의 챗GPT 만들기2
자체 데이터를 학습시킨 챗봇을 만들어보자.
학습시킨 매뉴얼 기준으로 답변 생성
메뉴얼을 벡터화
챗GPT에 질문하고, 매뉴얼 기준으로 답변을 요청
VS Code 터미널에서 질문하고 답변 받도록 하자.
<1> 대량 데이터 학습하는 RAG
<2> 텍스트 데이터를 CSV로 변경 , 임베딩, 벡터 데이터화
<1> 대량 데이터 학습하는 RAG
1
RAG는 미리 텍스트를 데이터베이스로 준비.
사용자가 입력하면 그 입력 내용을 참고로 데이터베이스에서 검색해 추가함으로 좀더 정확한 답변을 준다.
2
모델에 새로운 지식을 학습 시키는 것은 파인튜닝.
모델 자체를 다시 쓰는 것은 파인 튜닝
<2> 텍스트 데이터를 CSV로 변경 , 임베딩, 벡터 데이터화
https://github.com/ychoi-kr/ChatGPT-API-Python
1
1work
1work 폴터에 실습 예제 복사
2
VScode
File > Open Folder
Terminal > NEW Terminal
https://github.com/ychoi-kr/ChatGPT-API-Python/blob/main/ch4/text_to_csv_converter.py
3
# CSV 파일 만들자.
pip install pandas
python text_to_csv_converter.py
# VSCODE 로 text_embedding.py 파일에 키 추가
import os
os.environ["OPENAI_API_KEY"] = "sk-proj-gmLnswflnrO"
from openai import OpenAI
client = OpenAI()
pip install tiktoken matplotlib scipy scikit-learn
4
python text_embedding.py
embedding 된 embedding.csv 파일을 열어 본다.
다음
https://brunch.co.kr/@topasvga/3867
감사합니다.
