로컬 PC에서 GPT-4급 LLM 돌리기
로컬 PC에서 GPT-4급 LLM 돌리기: LM 스튜디오 세팅과 활용법
"GPT-4와 같은 강력한 AI를 마음껏 써보고 싶은데, API 비용이 부담되시나요? 중요한 데이터를 외부 서버로 보내는 것이 걱정되시나요?"
AI 에이전트 개발에 뛰어든 많은 개발자들이 공통으로 겪는 고민입니다. 다행히 이 문제를 해결할 훌륭한 방법이 있습니다. 바로 내 컴퓨터(로컬 PC)에 강력한 오픈소스 대규모 언어 모델(LLM)을 직접 설치하고 사용하는 것입니다.
『AI 에이전트 인 액션』 2장에서는 이 과정을 놀랍도록 쉽게 만들어주는 LM 스튜디오(LM Studio)라는 도구를 비중 있게 소개합니다. 이 글에서는 책의 내용을 바탕으로, 초보자도 쉽게 따라 할 수 있도록 LM 스튜디오의 설치부터 실제 개발에 활용하는 방법까지 자세히 알아보겠습니다.
왜 로컬 LLM을 사용해야 할까?
상용 API 대신 로컬 PC에서 LLM을 실행하면 다음과 같은 명확한 장점이 있습니다.
비용 절감: API는 사용한 만큼 비용을 내야 하지만, 로컬 LLM은 내 PC의 리소스를 사용하는 것이므로 추가 비용이 들지 않습니다. 마음껏 실험하고 개발할 수 있죠.
데이터 프라이버시: 모든 데이터가 내 컴퓨터 안에서만 처리되므로, 민감한 정보를 외부에 노출할 위험 없이 안전하게 AI를 활용할 수 있습니다.
오프라인 작업: 인터넷 연결 없이도 AI 모델을 사용할 수 있어, 언제 어디서든 개발과 테스트가 가능합니다.
LM 스튜디오 시작하기: 설치부터 모델 다운로드까지
LM 스튜디오는 이 모든 과정을 클릭 몇 번으로 가능하게 해주는 무료 애플리케이션입니다.
1. 설치하기
먼저 LM 스튜디오 웹사이트(https://lmstudio.ai/)에 방문하여 자신의 운영체제(Windows, Mac, Linux)에 맞는 설치 파일을 다운로드하여 설치합니다. 과정은 매우 간단합니다.
2. 나에게 맞는 LLM 모델 찾고 다운로드하기
LM 스튜디오를 처음 실행하면 깔끔한 인터페이스를 마주하게 됩니다. (책의 그림 2.3은 LM 스튜디오의 전체적인 인터페이스를 잘 보여줍니다.)
가장 먼저 할 일은 AI 모델을 다운로드하는 것입니다.
모델 탐색 (돋보기 아이콘): 왼쪽 메뉴에서 돋보기 모양의 '탐색(Discover)' 탭을 클릭합니다. 이곳은 허깅페이스(Hugging Face)와 같은 곳에 공개된 수많은 오픈소스 LLM 모델을 검색할 수 있는 공간입니다.
내 PC 사양 확인은 필수!: 모델을 고를 때 가장 중요한 것은 '내 컴퓨터에서 실행 가능한가?'입니다. LM 스튜디오의 가장 강력한 기능 중 하나는 바로 하드웨어 호환성 체크입니다.
검색 결과에서 모델을 선택하면, LM 스튜디오가 자동으로 내 PC의 RAM과 그래픽카드(VRAM) 사양을 분석하여 해당 모델을 원활하게 실행할 수 있는지 알려줍니다. 심지어 여러 버전 중 내 PC에 가장 적합한 파일을 추천해주기까지 합니다. (이 과정은 책의 그림 2.4에 잘 나와 있습니다.)
다운로드: 추천받은 모델 파일 옆의 다운로드 버튼을 눌러 다운로드를 시작합니다. 모델 크기에 따라 시간이 다소 걸릴 수 있습니다.
내 PC에서 AI와 대화하기: 로컬 챗봇 실행
모델 다운로드가 완료되었다면, 이제 내 PC를 AI 챗봇으로 만들 차례입니다.
모델 로드: 상단의 모델 선택 드롭다운 메뉴에서 방금 다운로드한 모델을 선택합니다. 잠시 기다리면 모델이 메모리에 로드됩니다.
대화 시작: 이제 채팅창에 ChatGPT를 사용하듯 자유롭게 질문하고 대화를 나눌 수 있습니다. 한글 모델을 다운로드했다면 한국어 대화도 매우 원활합니다.
시스템 프롬프트 설정: 오른쪽 설정 패널에서는 '시스템 프롬프트'를 수정하여 AI의 역할이나 정체성을 부여할 수 있습니다. 예를 들어, "당신은 파이썬 전문가입니다."라고 설정하면 AI가 해당 역할에 더 충실하게 답변합니다. (책의 그림 2.5에서 채팅 화면과 설정 패널을 함께 볼 수 있습니다.)
실전 활용: 내 PC를 OpenAI API 서버로 만들기
개발자에게 LM 스튜디오가 매력적인 가장 큰 이유는, 내 PC를 OpenAI와 호환되는 API 서버로 만들 수 있다는 점입니다. 즉, OpenAI API를 사용하도록 작성된 기존 코드를 단 몇 줄만 수정하여 내 로컬 모델로 실행할 수 있습니다.
API 서버 시작하기
서버 시작: 왼쪽 메뉴에서 서버 아이콘(터미널 모양)을 클릭하여 서버 관리 페이지로 이동합니다.
상단에서 실행할 모델을 선택한 후, '서버 시작(Start Server)' 버튼을 누릅니다.
서버가 시작되면, http://localhost:1234/v1과 같은 로컬 주소(Base URL)가 표시됩니다. 이제 이 주소가 당신의 개인용 OpenAI API 엔드포인트가 됩니다. (책의 그림 2.6은 서버 페이지의 전체적인 모습을 보여줍니다.)
실전 코드 예제: Python으로 로컬 LLM에 연결하기
기존에 OpenAI API를 사용하던 Python 코드가 있다면, 아래와 같이 base_url만 수정하여 로컬 서버에 연결할 수 있습니다.
# 'pip install openai'로 라이브러리 설치가 필요합니다.
from openai import OpenAI
# 클라이언트 설정 시, base_url을 LM 스튜디오 서버 주소로 지정합니다.
# api_key는 필요 없으므로 아무 값이나 넣어도 됩니다.
client = OpenAI(base_url="http://localhost:1234/v1", api_key="not-needed")
completion = client.chat.completions.create(
# model 이름은 로드된 모델과 상관없이 아무 이름이나 사용 가능합니다.
model="local-model",
messages=[
{"role": "system", "content": "당신은 항상 시처럼 답변하는 AI입니다."},
{"role": "user", "content": "AI 에이전트가 무엇인지 설명해줘."}
],
temperature=0.7,
)
# AI의 응답 전체를 출력합니다.
print(completion.choices[0].message)
이 코드를 실행하면, 여러분의 터미널에 AI의 시적인 답변이 출력될 것입니다. 동시에 LM 스튜디오의 서버 로그 창을 확인하면, API 요청이 성공적으로 처리된 기록을 눈으로 직접 확인할 수 있습니다.
결론
LM 스튜디오는 AI 에이전트 개발의 진입 장벽을 극적으로 낮춰주는 강력한 도구입니다. 비싼 API 비용이나 데이터 보안 걱정 없이, GPT-4에 버금가는 강력한 오픈소스 LLM들을 내 컴퓨터에서 자유롭게 실험하고 애플리케이션에 통합할 수 있게 해줍니다.
이제 여러분도 『AI 에이전트 인 액션』에서 소개하는 다양한 기법들을 LM 스튜디오 위에서 직접 구현해보며, 자신만의 똑똑한 자율 에이전트를 만들어보는 것은 어떨까요? 당신의 PC가 곧 당신의 가장 강력한 AI 개발 기지가 될 것입니다.
https://wikibook.co.kr/ai-agents/
《AI 에이전트 인 액션》에서는 프로덕션에 바로 배포할 수 있는 수준의 어시스턴트와 다중 에이전트 시스템, 자율적 에이전트를 구축하는 방법을 배울 수 있습니다. RAG 기반 지식 및 기억 능력과 추론, 계획 수립 등 에이전트의 필수 구성요소들을 익히고, 스스로 소프트웨어 도구를 사용하고 작업을 자율적으로 계획하며 피드백을 통해 스스로를 개선하는 다중 에이전트 애플리케이션을 만듭니다. 또한 다양한 실습 예제를 통해서 오픈AI 어시스턴츠 API, GPT 넥서스, 랭체인, MS 프롬프트 흐름, 오토젠, 크루AI 같은 최신 도구들을 사용해 봅니다.
