(책후기) 랭체인으로 LLM기반의 AI 서비스 개발하기
2024년 02월 27일 출판
이 책은 AI의 요약서이다.
AI 기초 개념에서 요즘 사용하는 기술까지 하나씩 설명해 준다.
딱 필요한 것만 설명해 준다.
길벗 출판사에서 책을 제공받아 작성된 서평입니다.AI서비스에 대해 기본 개념을 잡아주는 책이다.
AI에 대해 확실히 알고자 하는 분에게 추천한다.
이 책의 예제를 모두 해보자.
그리고, 실무에서는 클라우드에서 제공하는 AI서비스들도 배워 익히면 더 좋을 거 같다.
이 책의 요약으로 기본 개념을 잡자.
이 책을 구매해 실습하며 실무능력을 키워보자!
이 책은
<1> LLM 개념을 잡아준다.
<2> LLM의 종류에 대해 알려준다.
<3> LLM과 GAI의 차이를 알려준다.
<4> LLM생성 과정 및 사용법을 알려준다.
<5> LLM 활용 방법을 알려준다.
<6> RAG에 대해 알려준다.
<7> LLM 활용 시 주의가 필요한 부분도 알려준다.
<8> 랭체인과 환경 구성을 알려준다.
<9> 랭체인으로 RAG구현하는 법을 알려준다.
<10> 개인 정리
<11> 실습 코드 관련 안내드립니다.
<1> LLM 개념을 잡아준다.
1
LLM은 인공지능의 한 분야로, 대규모 데이터로 학습한 결과를 이용해서 인간의 언어를 처리하고, 생성하며, 맥락을 이해하는 데 사용된다.
2
언어모델(Language Model)?
이제 막 글을 배우는 어린아이에게 글을 가르치듯이 컴퓨터에게 어떻게 말을 하고 글을 쓰는지 가르치는 것과 같다.
3
거대 언어 모델(Large Language Model)?
대규모 데이터로 훈련된, 매우 큰 규모의 인공 지능 기반 언어 모델입니다.
<2> LLM의 종류에 대해 알려준다.
1
GPT-4?
오픈 AI가 가장 최근에 발표한 모델 (2023년 12월)
멀티모달(multimodal)을 제공한다.
멀티모달은 여러 가지 방법을 썩어 쓴다는 뜻입니다.
텍스트, 오디오, 이미지, 비디오등 두 가지 방법을 같이 쓰는 것.
2
팜 2?
구글에서 팜 2(Pathwats Language Model2, PaLM2)를 공개함.
오픈 AI의 Chat GPT-4에 대응하기 위해 만듦.
gpt-4와 언어 모델이 제공하는 기능은 일치한다.
3
라마 2?
라마 2(LLaMA2)는 페이스북 메타에서 개발한 LLM이다.
메타는 라마 2를 오픈소스로 공개함.
오픈소스
<3> LLM과 GAI의 차이를 알려준다.
생성형 AI(Generative AI, GAI)?
LLM은 거대 언어 모델이라고 했습니다.
대용량의 텍스트 데이터를 학습함으로써 인간의 언어인 자연어를 이해하고 생성하는 작업에 능숙 합니다.
GPT-3.5 , GPT-4 , 구글의 팜 2 , 제미나이가 해당됩니다.
LLM은 텍스트를 기반으로 질문에 답하거나 , 글을 작성하고, 대화를 진행하는 언어 관련 작업을 하는 데 사용합니다.
반면, 생성형 AI(Generative AI, GAI)는 입력 데이터를 기반으로 새로운 콘텐츠를 생성하는 인공지능입니다.
텍스트, 이미지, 음악, 비디오 등 다양한 콘텐츠를 생성할 수 있는 모델들이 포함됩니다.
달리(DALL-E) 2, 와 같이 모델은 텍스트 설명을 바탕으로 이미지를 생성할 수 있습니다.
// 생성형 AI는 데이터를 입력해줘야 합니다!!!! 그러면 콘텐츠를 생성해 줍니다.
<4> LLM생성 과정 및 사용법을 알려준다.
1. 데이터 수집 및 준비
2. 모델 설계
3. 모델 학습
4. 평가 및 검증
5. 배포 및 유지보수
<5> LLM 활용 방법을 알려준다.
파인 튜닝?
파인튜닝(Fine-Tunning)은 기존의 LLM을 특정한 작업이나 상화에 맞게 조금 더 훈련시키는 과정이다.
예를 들어 LLM이 여러 언어를 이해하는 법을 배웠다고 가정해 보자.
이 모델을 의학 분야에서 전문적으로 사용하고 싶다면 의학 관련 문서를 추가로 학습시키는데, 이러한 과정을 파인튜닝이라고 한다.
이렇게 하면 이미 배운 기본 지식을 유지하면서 특정 분야에 더 정확하고 효과적으로 대응할 수 있게 된다.
<6> RAG에 대해 알려준다.
RAG(Retrieval-Augmentd Generation)는 자연어 처리분야에서 사용되는 기술로, 정보 검색과 생성을 결합한 인공지능 모델입니다.
<7> LLM 활용 시 주의가 필요한 부분도 알려준다.
정보 필터링 - 개인정보는 제거가 필요하다.
법적인 규제 준수 필요.
할루시네이션 주의 - 부정확한 현상을 최소화하기 위해 해야 하는 것.
보안 - 클라우드서비스에서는 프라이빗 엔드포인트, 프라이빗 링크 등으로 내부 통신을 하도록 해야 한다.
편향성과 공정성 필요
투명성 필요 - 왜 그런 대답을 했는지 이유 설명이 부족할 수 있다.
데이터 의존성.
정보의 일반화
오류 가능성 - 잘못된 정보를 기반으로 작성되는 경우.
새로운 정보의 결여.
기업 내 데이터 미활용.
<8> 랭체인과 환경 구성을 알려준다.
1
랭체인은 LLM을 활용하기 위해 필요한 모듈(라이브러리)의 모음이자 조합입니다.
2
환경 구성?
아나콘다 환경 구성부터 설명해 준다.
<9> 랭체인으로 RAG구현하는 법을 알려준다.
8가지 서비스를 만들 수 있도록 예제를 알려준다.
<10> 개인 정리
LLM의 개념에서 실제로 사용해 서비스를 만들 수 있도록 해주는 책이다.
기본 개념을 확실히 잡아준다.
서비스 만드는 법을 통해 실제 업무에 적용할 수 있도록 해준다.
가장 명확하게 설명해 주고, 8가지 서비스를 만들어 볼 수 있도록 해주는 책으로 추천합니다.
<11> 실습 코드 관련 안내드립니다.
---------------------------------
랭체인 설치 시 버전을 지정(0.0.35)할 경우 제대로 작동하지 않는 코드를 발견하고 수정했습니다. (2024.3.19)
수정하면서 전체 코드를 재검증하여 업로드하였으니, 이 점 실습에 참고 부탁드립니다.
--------------------------------
이후에도 지속적으로 코드를 관리할 예정이며, 코드 업데이트 관련 사항은 이 책의 길벗 깃허브 페이지에서 확인 부탁드립니다.
길벗 깃허브:
https://github.com/gilbutITbook/080413
감사합니다.
감사합니다.
