LLM을 로컬에서 실행할 수 있는 방법들
LMStudio , Ollama , HuggingFace ...
LLM(대규모 언어 모델)을 사용하여 작업을 하고 싶지만, Chat GPT나 Gemini는 돈이 많이 들기 때문에 사용하고 싶지 않는 게 현실입니다. 그렇다면 자연스럽게 생각나는게 로컬에서 돌릴 수는 없을까? 라고 생각나기 마련이죠. 그런 needs 맞게 여러제품과 라이브러리들이 출시가 되었는데, 그 중에서 유명한 몇가지 제품을 소개하려고 합니다.
이번 글에서는 LLM을 로컬에서 실행 가능하게 하는 제품과 라이브러리를 살펴보겠습니다.
대표적인 LMStudio , Ollama , 그리고, HuggingFace, llama.cpp 를 살펴보겠습니다.
(소개순서는 인지도와 관련이 없습니다.)
1. LMStudio
LM Studio는 컴퓨터에서 로컬 LLM을 실행하기 위한 데스크톱 애플리케이션입니다.
| Link - https://lmstudio.ai/
2. ollama
Ollama는 오픈 소스 LLM(대형 언어 모델)을 컴퓨터에서 로컬로 실행할 수 있는 도구입니다. Llama 3, Phi-2 등을 포함한 다양한 최신의 모델을 지원합니다. 모델 가중치, 구성 및 데이터를 단일 패키지로 묶습니다.
| Link - https://ollama.com/
3. Hugging Face 와 Transformer
Hugging Face는 개발자들이 많이 찾게되는 사이트로, 다양한 오픈 소스 모델을 제공합니다. 또한 Hugging Face는 로컬에서 LLM 실행을 간소화하는 Python 라이브러리인 Transformer 도 제공합니다.
Microsoft에서 Phi 2를 실행하는 샘플소스(출처: https://huggingface.co/microsoft/phi-2)(* 주의 : 로컬로 해당 모델을 다운받으려면 5GB 이상의 여유공간이 필요합니다. )
4. 라마.cpp
Llama.cpp는 Meta의 Llama 모델을 실행하는 LLM용 C 및 C++ 기반 추론 엔진입니다. 파이썬에서 c++ 로 만들어진 것을 돌리기 위해서 cmake 컴파일러 필요하고, LLM 모델을 GGUF의 형식으로 변환해야만 실행가능하다. 그리고 OS 마다 환경변수설정이 까다롭다.
| Link - https://github.com/ggerganov/llama.cpp
설치 방법 : pip install llama-cpp-python
사용법(출처 : https://github.com/abetlen/llama-cpp-python)
(* OS 에 따라 환경변수 설정이 필요하다. )
마치며...
이 중 사용하기에 가장 힘든게 llama.cpp 이고, 가장 간편하게 이용한다면 transformers가 좋습니다. hugging face라는 AI커뮤니티에 공개되어 있는 많은 LLM을 몇줄로 바로 이용해 볼 수 있습니다.
