brunch

You can make anything
by writing

C.S.Lewis

by 최재철 Jun 08. 2024

RAG 시스템을 위한 주요 청킹 방법

큰 문서를 작은 부분으로 나누는 것은 RAG(Retrieval Augmented Generation) 시스템의 성능에 영향을 미치는 아주 중요한 요소입니다. RAG 시스템 개발을 위한 프레임워크는 일반적으로 선택할 수 있는 여러 옵션을 제공합니다. 이번 글에서는 주요 청킹 종류와 간단한 사용법과 차이점을 설명하도록 하겠습니다.

RAG 시스템

검색 증강 생성(RAG) 시스템은 검색 기반 및 생성 기반 접근 방식을 결합하여 출력의 품질과 관련성을 향상시킵니다. RAG 시스템에 대한 자세한 것은 아래 링크 참고바랍니다.

https://brunch.co.kr/@b2439ea8fc654b8/4

LLM RAG 란

우리가 알고 있듯이 LLM(대형 언어 모델)은 마지막 교육 업데이트 시점에서 지식이 고정되었다. 우리는 이런 고정 데이터 세트에서 ChatGPT 를 사용하고 있는 것이다. ChatGPT의 일반 사용자는 잘 알

brunch.co.kr/@b2439ea8fc654b8/4

LangChain

문서 분할에 대한 몇 가지 옵션을 널리 사용되는 Langchain 프레임워크를 통해서 보여드리겠습니다.

LangChain은 주로 대규모 언어 모델(LLM) 적용에 초점을 맞추어 설계된 강력한 프레임워크입니다.

여러가지 기능 중에 하나로 다양한 문서 분할 옵션을 제공합니다.

이를 통해 사용자는 대용량 문서를 더 작고 관리 가능한 덩어리로 나눌 수 있습니다.

다음은 LangChain의 문서 분할의 주요 기능과 예시입니다.

LangChain의 문서 분할 주요 기능

실험에 쓰일 텍스트는 위키디아에서 "동요" 라는 주제로 검색해서 찾은 웹사이트 입니다.

import requests
from bs4 import BeautifulSoup

# 동요 - 위키피디아
url = 'https://ko.wikipedia.org/wiki/%EB%8F%99%EC%9A%94'
response = requests.get(url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')
    text = soup.get_text(separator='\n', strip=True)
else:
    text = ""
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")

CharacterTextSplitter

기능: 기본적인 문자 기반 텍스트 분할기.

설명: 주어진 텍스트를 문자 수를 기준으로 분할합니다.

from langchain.text_splitter import CharacterTextSplitter

splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=20)
chunks = splitter.split_text(text)
for chunk in chunks:
print(chunk)

RecursiveCharacterTextSplitter

기능: 문자 기반의 재귀적 텍스트 분할기.

설명: 텍스트를 일련의 규칙(주로 구두점)을 기반으로 더 큰 조각에서 더 작은 조각으로 재귀적으로 분할합니다. 이는 자연스러운 단락이나 문장 구분이 있는 문서에 특히 유용합니다. 일반적으로 가장 많이 사용합니다.

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
chunk_size=1000, chunk_overlap=20,
separators=["\n\n", "\n", " ", ""])
chunks = splitter.split_text(text)
print(chunks[0])

NltkSentenceTextSplitter

기능: NLTK를 이용한 문장 기반 텍스트 분할기.

설명: NLTK의 문장 토크나이저를 사용하여 문장 단위로 텍스트를 분할합니다. NLTK 라이브러리가 필요합니다.

from langchain_text_splitters import NLTKTextSplitter

splitter = NLTKTextSplitter(chunk_size=1000, chunk_overlap=20)
chunks = splitter.split_text(text)
print(chunks[0])