로컬 LLM AI 간단 구축 &개발 활용 가이드

클라우드 없이 완전 프라이빗한 AI 코딩 어시스턴트 환경을 구성하는 방법

최근 AI 기술의 급속한 발전으로, LLM(Large Language Model)을 활용한 애플리케이션이 주목받고 있습니다. 하지만 많은 LLM 애플리케이션이 클라우드 환경에서의 이용을 전제로 하기 때문에, 데이터 프라이버시·보안·비용 문제로 도입에 높은 장벽을 느끼는 경우도 있습니다.

개발 현장에서도 마찬가지로, GitHub Copilot은 엔지니어의 생산성을 크게 높여준다고 알려져 있지만, 위와 같은 이유로 AI 활용이 정체되는 경우도 있습니다.

하지만 최근에는 개인 PC와 로컬 환경에서도 손쉽게 LLM을 구동하고 활용할 수 있는 시대가 되었습니다. LLM 최적화 기술의 발전, 오픈소스 모델과 AI 도구의 활발한 공유, 하드웨어 성능 향상 덕분입니다.

여기서는 이러한 로컬 환경에서 LLM과 AI 도구를 설치하는 방법부터 구체적인 활용 사례까지 소개하도록 하겠습니다.

환경 구성

이번 AI 도구를 시험해보기 위한 전체 환경 구성도입니다. Windows 환경에서 테스트하지만, Mac 환경에서도 거의 동일하게 구축할 수 있습니다.

※ 이번에 사용할 로컬 LLM 구동 환경 · AI 도구

①Ollama

LLM을 로컬 환경에서 손쉽게 구동할 수 있는 오픈소스 플랫폼. 모델의 임포트·실행·관리를 간단하게 할 수 있으며 REST API도 지원합니다.

②Open-WebUI

ChatGPT와 같은 웹 UI를 로컬 환경에서 구축할 수 있는 AI 채팅 도구. 텍스트·이미지·파일 첨부 등 다양한 기능을 제공합니다.

③Continue (continue.dev)

AI 코딩 어시스턴트 도구. VS Code와 JetBrains IDE를 지원하며, Ollama와 연동하여 로컬 LLM 기반 코딩 어시스턴트를 구축할 수 있습니다.

로컬 LLM 구동 환경 & 모델 셋업

Windows WSL2 & Ubuntu 환경을 기준으로 설명합니다. Mac 환경도 셋업 과정이 거의 동일하므로 Mac 사용자도 참고할 수 있습니다.

1) Ollama 설치

Ubuntu의 경우 Ollama on Linux 문서를 참조하여 설치합니다. Mac이나 다른 환경은 공식 홈페이지를 참조하세요.

$ curl -fsSL https://ollama.com/install.sh | sh

정상적으로 설치되면 다음과 같은 메시지가 출력됩니다.

>>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service. >>> NVIDIA GPU installed.

Linux 설치 시 기본으로 자동 시작이 설정됩니다. 자동 시작을 원하지 않는 경우 다음 명령어를 실행하세요.

$ sudo systemctl stop ollama
$ sudo systemctl disable ollama

Ollama 실행 확인

# Ollama 서버 시작 (수동 시작 시)
$ ollama serve # 모델 목록 출력
$ ollama list NAME
ID SIZE MODIFIED

Ollama 공식 제공 모델 설치

Ollama에서 모델을 사용하려면 목적에 맞는 모델을 별도로 설치해야 합니다. 아래에서는 2025/2026년 기준 최신 권장 모델을 설치하는 방법을 소개합니다.

# 메인 코딩 모델 (7B)

$ ollama pull qwen2.5-coder:7b
$ ollama pull qwen2.5-coder:1.5b
$ ollama pull llama3.2-vision:11b