DAY 10. RAG를 아시나요?

PDF 넣으면 답해주는 GPT 비서

ChatGPT가 한참 주목을 받았을때,

그 놀라움 뿐만 아니라 엉터리 대답이 나올 때마다 사람들은 아직 멀었다는 생각들도 했다.

'할루시네이션'(스타크래프트 템플러의 기술인 그 할루시네이션 맞습니다)이라고 불리는 것인데,

쉽게 말하면 AI가 헛소리를 하는 것이다.

이것을 보안하기 위해서 나온 기술이 바로 RAG(Retrieval-Augmented Generation)이다.

한마디로, 정확히 검색을 해서 필요한 것을 정확하게 보여준다는 것이다.

그래서 뜨게 된 서비스가 있는데, 바로 Perplexity이다.

지금은 ChatGPT, Gemini 등등 모두 해당 기능을 제공을 하는데, 우리에게 가장 널리 알려진건 Perplexity이다.

실제로 파고 들어가면, embedding이 어떻고, chunk가 어떻고, 이런저런 말이 많은데, 그냥 간단하게 참고하는 문서 등을 기반으로 사실적으로 결과를 보여준다는 것이다. 그리고 개인이 만드는 것도 그렇게 어렵지는 않다.

커서를 적극 활용했다. 기본적인 개념을 알고 있으니, 커서를 통해서 어떤 서비스를 만들고 싶다고 했고(이 경우에는 증권 관련 PDF를 하위 폴더에 넣는다고 했다), 이를 기반으로 RAG를 만들어 달라고 요청을 했다.

일단 초기 실행하면 위 처럼 나오게 되는데, 시스템 초기화를 누르면 실제 하위 폴더에 있는 문서들을 검색하기 좋게 만들어주기 시작한다.

embedding중인 예

Ollama를 이용할지, ChatGPT API를 이용할지 고민을 하다가, Ollama가 좀 느려서 gpt-4o-mini를 이용해서 진행하기로 했다. 실제로는 chatgpt에게 둘 사용시 장단점을 문의를 했고, 그에 대해서 사용하기 괜찮은 것 같아서 API를 사용하기로 한 것이다.

위는 이제 모든 파일(1367개 파일) 인덱싱까지 전부 끝난것을 보여준다. 실제 작업하는데 10분 미만의 시간이 걸렸다.

증권사 리포트를 데이타로 넣은 것이여서, 관세 관련한 질문을 하니 특정 문서를 알려주며 어떤 내용이 있는지 정확하게 분석을 해줬다. 오~

대충 어느정도 금액이 들었을까? 대략적으로 0.04불 미만의 금액이 들었다! 1367개의 문서를 처리하고 응답하는데 총 0.04불이라면 할만하지 않을까? 하루 한 번만 진행하면 되는데, 하루 100원도 안되는 금액으로 궁금한 것을 다 알아볼 수 있다. 그것도 자동화된 방식으로 내가 원하는 것들을 손쉽게 구할 수 있다는 것은 큰 장점이라고 생각한다.

물론 다양한 과제가 있다. 우선 매일 새로운 데이타를 수집해서 인덱싱을 하는데 드는 시간과 비용은 시간이 흐를수록 커질듯한데, 이를 방지하기 위해서 새로운 데이타만 인덱싱을 하는 방식도 있어서 비용은 크게 차이가 나지 않을 것이다. 그리고 원하는 키워드 내용만 가져오면 더 효율화가 가능할 것이다. 물론 다양한 문제점이 있겠지만, 이는 시스템을 구성하면서 chatgpt 등에게 문의를 하면 적절한 대답을 해주기 때문에 시스템 구성이 그리 어렵지는 않을듯하다.

#chatgpt #RAG #증권 #리포트