로컬LLM 실행도구 - 올라마
대규모 언어 모델(LLM)인 ChatGPT를 사용하려면 보통 OpenAI 같은 회사의 서버로 데이터를 전송해야 합니다. 이 서버들은 안전하지만, 기업들은 내부 데이터를 오프라인으로 유지하면서 정보를 보호하고 싶어 합니다.
로컬 LLM을 사용하는 이유
1. 개인정보 보호: 로컬 LLM을 사용하면 입력한 데이터가 컴퓨터 외부로 나가지 않습니다. 즉, 인터넷에 연결하지 않고도 여러 차례 대화를 이어갈 수 있습니다.
2. 사용자 맞춤 옵션: 로컬 LLM은 CPU 사용량, 대화의 길이, 온도(모델의 창의성 조절), GPU 설정 등 다양한 기능을 사용자 맞춤으로 조정할 수 있습니다. 이는 OpenAI의 실험 도구인 "플레이그라운드"와 비슷합니다.
3. 비용 절감: 로컬 LLM은 무료로 사용할 수 있어, 월 구독료가 없습니다. 반면 OpenAI 같은 서비스는 사용할 때마다 비용이 발생합니다.
4. 연결 문제 해결: 클라우드 서비스를 이용할 때 인터넷 연결 상태가 나쁘면 문제가 생길 수 있지만, 로컬 LLM은 연결 상태에 영향을 받지 않습니다.
이런 장점을 가지고, 로컬에서 실행할 수 있는 LLM 도구인 - 올라마를 소개하겠습니다.
올라마
Ollama를 사용하면 OpenAI와 같은 API에 연결하지 않고도 로컬 챗봇을 쉽게 만들 수 있습니다. 모든 것이 로컬로 실행되므로 구독이나 API 호출에 대해 비용을 지불할 필요가 없습니다.
1. Ollama의 주요 특징
모델 라이브러리 : Ollama는 https://ollama.com/library 에서 시도해 볼 수 있는 다양한 모델을 보유하고 있습니다
다양한 LLM 모델보유치ㅑ CLI 명령어로 간단하게 LLM 모델 가져올 수 있습니다. ( ex. ollama pull llama3 )
애플리케이션과 통합 : Ollama는 Ollama-SwiftUI , HTML UI , Dify.ai 등 의 웹 및 데스크톱 애플리케이션과 완벽하게 통합됩니다.
https://github.com/kghandour/Ollama-SwiftUI
https://github.com/ollama-ui/ollama-ui
2. Ollama 시작하기
Ollama를 처음 사용하려면 https://ollama.com을 방문하여 컴퓨터에 맞는 버전을 다운로드하세요. Mac, Linux 또는 Windows에 설치할 수 있습니다. Ollama를 설치하면 다음 명령으로 터미널에서 자세한 정보를 확인할 수 있습니다.
특정 LLM을 실행하려면 다음을 사용하여 다운로드해야 합니다. (pull 명령어 사용)
다운로드 방법은
ollama pull model_name
여기서 model_name 설치하려는 모델의 이름입니다.
모델을 실행하려면, (run 명령어 사용)
ollama run llama
간단하게 파이썬 구구단 프로그램을 작성하도록 요청해보았습니다.
3. Ollama 사용의 이점
Ollama는 GitHub에 300명 이상의 기여자(Contributors)가 있으며 활발한 업데이트가 이루어지고 있습니다. 간단한 설치와 실행방법으로 인기가 많으며. 랭체인과 라마인덱스와의 호환도 잘되는 편입니다.
