brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Jul 23. 2024

AI 1탄-6-3. 라마인덱스-3/3

인공지능 프로그래밍 -3/3

라마인덱스는 LLM에서 학습되지 않는 데이터를 참조해서 질의응답하기 위한 라이브러리이다.

학습되지 않은 정보를 LLM에서 응답할 때 참조하는 구조이다.

추가학습보다는 가볍다.

다양한 데이터를 활용할 수 있는 라마허브(Lamahub) 라이브러리를 사용하면 PDF 등 각종 파일이나 유튜브 등의 웹서버도 질의응답에 활용할 수 있다.

라마 인덱스는 내부적으로 랭체인라이브러리를 사용한다.

랭체인을 사용하므로 데이터베이스가 필요하다.




<1> 라마 인덱스

<2> 라마 허브




<1> 라마 인덱스



1

공개되지 않은 자체 데이터를 활용해 질의응답을 하는 채팅 AI를 쉽게 만들 수 있는 오픈소스 라이브러리이다.

기업이나 개인이 보유하고 있는 공개되지 않은 정보는 답변할 수 없다.

라마 인덱스는 공개되지 않은 정보를 바탕으로 질문 답변과 관련된 정보를 검색해서 답한다.



2

소스

https://github.com/wikibook/openai-llm




3

순서 ?


구글 코랩 실행



문서 준비

라마인덱스 패키지 설정

환경 변수 설정

문서 배치

문서 로드

인덱스 생성

퀘리 엔진 생성

질의 응답

인덱스 저장

인덱스 로드




4

라마 인덱스 생성 절차 상세.


문서 로드

인덱스 생성

퀘리 엔진 생성

질의 응답





<2> 라마 허브



1

다양한 데이터를 라마인덱스에서 독자적인 데이터로 활용할수 있다.

웹페이지를 이용한 질의 응답 등 가능하다.



2

라마 허브란?

라마허스브에서 제공하는 다양한 커넥터를 이용하면 다양한 파일 (pfd,EpUB,워드,파워포인트,오디오 등)과 웹서비스(트위터,슬랙,위키백과)등을 문서의 소스로 할수 있다.




3

순서?


문서 로드

인덱스 생성

퀘리 엔진 생성

질의 응답





처음으로 돌아가기


https://brunch.co.kr/@topasvga/3863


감사합니다.

매거진의 이전글 AI 1탄-6-2. 파이썬 사용, 파이토치, 텐서플로
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari