12. 네이버클라우드-NCE-AI-랭체인, PDF파일

# 랭체인을 네이버 클라우드에서 사용하는법을 알아보자

작업 순서와 내용 확인하자.

PDF 파일 읽어서 질문해보자.

AI의 쿠버네티스 = 랭체인

<1> 랭체인을 알아보자

<2> 주피터 노트북에서 실습파일 다운로드

<3> 주피터 노트북에서 랭체인 설치

<4> 주피터 노트북에서 하이퍼 클로바 X 모델 이용

<5> 클로바 스튜디오에서 익스플로러 임베딩 사용하기

<6> 관련 없는 질문시 답변을 하지 않는다.

<1> 랭체인을 알아보자

1

https://brunch.co.kr/@topasvga/3864

AI 1탄-2. 랭체인을 활용한 LLM AI -2/3

2

순서?

# 실습파일 다운로드

# 주피터 노트북에 업로드, 실행

# 랭체인 설치

# 하이퍼 클로바 X 모델 이용

<2> 실습파일 다운로드

# 실습파일 다운로드

# Excel 2일차 - 44번째줄

langchain.ipynb 파일 다운로드.

<3> 주피터 노트북에 업로드, 실행

1

# 주피터 노트북 실행

jupyter notebook --allow-root

2

웹프라우저로 주피터 노트북에 접속

3

주피터 노트북에 업로드

<3> 랭체인 설치

1

# 랭체인 설치

랭체인 설치

랭체인 네이버 설치

랭체인 커뮤니티 설치

!pip install -U langchain

!pip install -U langchain-naver

!pip install langchain-community

2

# 오류시

--break-system-packages 옵션 추가후 실행 - Shift + Enter

!pip install -U langchain --break-system-packages

!pip install -U langchain-naver --break-system-packages

!pip install langchain-community --break-system-packages

<4> 주피터 노트북에서 하이퍼 클로바 X 모델 이용

1

# CLOVA Studio API Key 입력 후 Shift + Enter

2

import getpass

import os

os.environ["CLOVASTUDIO_API_KEY"] = getpass.getpass(

"CLOVA Studio API Key 입력: "

)

3

API 키 값 입력후

엔터

4

----------------------------

messages = [

(

"system",

"너는 영어를 한글로 번역하는 번역가야. 사용자가 입력한 문장에 대해서 정확히 번역해줘.",

),

("human", "I love using NAVER AI."),

]

ai_msg = chat.invoke(messages)

ai_msg

<5> 클로바 스튜디오에서 익스플로러 임베딩 사용하기

임베딩 = 데이터의 의미를 숫자 벡터로 표현한 것

→ 그래서 컴퓨터가 유사성 계산, 분류, 검색, 추천을 쉽게 할 수 있게 해줘요.

5

# 임베딩

클로바 스튜디오 > 익스플로러 > 임베딩

https://clovastudio.ncloud.com/explorer

CLOVA Studio

임베딩 v2 선택

코드보기

파이선 코드내 request ID 복사

6

복사한 request ID 입력 후 엔터

7

# 임베딩 값을 저장할 크롬 DB설치

크롬 DB는 크롬이 방문 기록, 쿠키, 로그인 정보 등을 저장하기 위해 사용하는 SQLite 데이터베이스 파일들이에요.

# 크롬 DB설치 오류시 ?

!pip install -qU "langchain-chroma>=0.1.2" 설치시 오류 발생하는 경우

해결

주피터 노트에서 아래 실행

!pip install -qU "langchain-chroma>=0.1.2" --break-system-packages

또는

서버에 로그온해 아래 실행

!pip install -qU "langchain-chroma>=0.1.2" --break-system-packages

# 아래 오류시는 ?

ERROR: Cannot uninstall jsonschema 4.10.3, RECORD file not found. Hint: The package was installed by debian.

# 해결

# 서버에 로그온해서 아래 실행 하셔야 합니다.

sudo apt remove python3-jsonschema

pip install --upgrade --force-reinstall jsonschema

# Use a Virtual Environment (Recommended)

python3 -m venv venv

source venv/bin/activate

pip install jsonschema

20 db설치 오류시.txt

8

# 랭체인 다큐멘트 로더 설정

Excel 경로에서 PDF 다운로드 = 2일차 42줄 ,

LangChain.pdf

9

주피터 노트에 PDF 업로드

10

오류로 잘 설치 안되면 --break-system-packages 옵션 주고 설치

!pip install -qU "langchain-chroma>=0.1.2" --break-system-packages

!pip install -q pypdf --break-system-packages

!pip3 install pymupdf --break-system-packages

!pip3 install tiktoken --break-system-packages

10

파일 내 텍스트를 text splitter를 이용 정킹한다.

11

결과를 벡터 DB에 저장

12

# 결과값을 잘 반환 하는지 확인

(for 문에서 공란 필수)

13

PDF 문서에 있는 질문

rag_chain.invoke("CLOVA Studio에 연동하여 LangChain을 사용하려면 필요한 파이썬 최소버전은?")

결과 확인

14

SHIFT + Enter 로 실행이 잘 안될떄

주피터 노트에서 셧다운로 재시작 하기

<6> 관련 없는 질문시 답변을 하지 않는다.

1

다른것 묻기

관련 없는 질문시 답변을 하지 않는다.

AI에서 비용 절감 포인트.

다음

https://brunch.co.kr/@topasvga/4611

13. 네이버클라우드-NCE-AI- RAG 데모