C. Ollama에서 로컬 AI챗봇 만들기
Dify(디파이) 노코드 AI구축 기초부터 실무 가이드
회사 내부 기밀 데이터를 외부로 유출하고 싶지 않고, 네트워크가 불안정한 환경에서도 사용가능하며 API과금 비용을 고민하지 않고 사용하고 싶다라는 요구를 회사내에서 들어본적이 있다면 그것에 대한 대책은 로컬 LLM이라고 말할 수 있습니다.
이전에 Dify(디파이)를 Docker(도커)로 실행할 수 있게 만들어본 독자라면 이제 다음 단계로 넘어갈 단계입니다. 자신만의 AI를 로컬에 구축해봅시다. 이번에는 Ollama라는 도구를 사용하여 로컬환경에서 LLM을 기동하고, Docker를 실행한 로컬 Dify와 연동하는 방법을 소개합니다.
(1) 시스템 요구사항
독자가 사용중인 PC에서 Ollama가 원활하게 동작하는지 확인합니다. 기본 기준은 아래와 같습니다.
CPU: 최소 4core 이상 (8core이상 권장)
메모리: 8GB 이상 (16GB이상 권장)
스토리지: 10GB이상의 여유공간 (큰 모델이나 여러가지 모델을 사용하고 싶다면 최소 100GB이상 필요함)
OS: WIndows 10/11, macOS 10.15이상, 주요 Linux배포판
최근 노트북을 사용한다면 대체로 이 조건을 충족할 것입니다. 다만, 사용할 모델에 따라 요구되는 사양은 달라지므로 이는 어디까지나 참고용 기준입니다.
따라서 처음에는 Llama 3.2의 소규모 모델로 테스트해보는 것이 좋습니다. 기준으로는 8B 모델 이하를 추천하며 그보다 큰 모델의 경우 메모리를 늘리거나 해야 합니다.
① Ollama 설치방법
Ollama는 로컬환경에서 LLM(대규모언어모델)을 손쉽게 실행할 수 있도록 도와주는 도구입니다. 단 하나의 명령으로 LLM을 다운로드하고 실행할 수 있습니다. 또한, 메모리 사용량을 최적화하는 기능을 갖추고 있어 일반적인 PC에서도 충분히 작동합니다. 또한 설치방법 또는 극단적으로 간단합니다. Windows나 macOS에서는 전용 설치프로그램을 사용하고 Linux는 curl명령어 한번으로 설치할 수 있습니다.
Windows의 경우
㉠ 공식사이트에서 다운로드
Ollama 공식 사이트에서 [Download for Windows]버튼을 클릭하여 설치프로그램파일을 다운로드받습니다.
㉡ 설치 실행
다운로드한 exe파일을 더블클릭하여 실행 후, 화면 지시 내용에 따라 설치를 진행합니다.
㉢ 동작확인
설치가 완료되면 명령 프롬프트를 열고 다음 명령어를 실행하여 Ollama가 잘 설치되어 있는지 확인합니다.
macOS의 경우
㉠ 공식사이트에서 다운로드
Ollama 공식 사이트에서 [Download for macOS]버튼을 클릭하여 설치프로그램파일을 다운로드받습니다.
㉡ 설치 실행
다운로드한 zip파일을 열고, ollama 애플리케이션을 실행한 후, [Install]버튼을 클릭하여 설치합니다.
㉢ 동작확인
터미널을 열고 아래 명령어를 실행하여 Ollama가 잘 설치되어 있는지 확인합니다.
Linux의 경우
㉠ 바이너리 다운로드
터미널을 열고 아래 명령으를 실행하여 Ollama 바이너리 파일을 다운로드합니다.
㉡ 파일압축 해제
다은로드한 아카이브 파일 압축을 해제합니다.
㉢ 실행권한 부여
압축이 풀린 Ollama 바이너리에 실행권한을 부여합니다.
㉣ 경로 설정
Ollama 바이너리가 시스템 PATH에 포함되도록 설정합니다. 예를 들어, '~/.local/bin'으로 이동시키려면 아래 명령어를 사용합니다.
㉤ 동작확인
터미널에서 아래 명령어를 입력하여 Ollama가 올바르게 동작하는지 확인합니다.
(2) 모델 다운로드 및 실행
Ollama 설치후, 다음 절차에 따라 모델을 다운로드하고 실행할 수 있습니다.
㉠ 모델 다운로드
예를 들어 llama 3.2모델을 다운로드하려면 아래 명령어를 실행합니다. 3B모델이 설치되는데 3.3버전의 경우에는 70B하나만 있기 때문에 VRAM등이 넉넉한 독자만 선택하시길 바랍니다.
㉡ 모델 실행
다운로드한 모델을 사용하여 대화를 시작하려면 아래 명령어를 실행합니다. 프롬프트가 표시되면 질문이나 입력을 통해 모델과 대화를 할 수 있습니다.
(3) 환경변수 설정 (외부 접근 허용)
첫번째 시작은 Ollama의 외부 접근 설정입니다. 기본적으로는 내부 고립된 상태입니다. 즉, 동일 네트워크 내에 있더라도 외부에서의 접근은 전혀 안됩니다. 따라서, 사내 다른 PC에서도 연결할 수 있도록 설정할 필요가 있습니다. 약간의 환경변수 설정으로 이를 가능하게 할 수 있습니다.
Windows의 경우
주의사항
"192.168.11.*" 부분은 독자의 네트워크 환경에 맞게 변경해야 합니다.
이는 사내 네트워크 등 신뢰할 수 있는 네트워크에서만 사용하길 권장합니다.
공용 Wi-Fi등 블특정 다수가 접근할 수 있는 환경에서는 사용하지 마시기 바랍니다.
설정이 완료되면, Ollama를 재시작합니다. 재시작을 통해 새로운 설정이 반영됩니다.
(4) 외부 액세스 확인
이제 설정이 잘 되었는지 확인합니다.
독자의 PC에서 잘 연결된다면 이제 다른 기기에서 접근해 봅시다.
응답이 반환된다면 외부 접근 설정이 성공한 것입니다. 이로써 Ollama의 준비가 완료되었습니다.
(5) Dify와 연동하기
이제 Dify(디파이)와 Ollama(올라마)를 연결합니다.
모델 제공자 설정
Dify를 접속해서 사용자의 [설정]을 클릭하고 설정의 작업공간 메뉴 중 [모델 제공자]를 선택합니다. 여기서 모델 타입으로 [LLM]을 선택합니다. "Ollama"모델을 선택하고 [모델 추가]을 클릭합니다.
Model Type: LLM
Model Name: llama 3.2
Base URL: http://host.docker.internal:11434 (또는 독자가 사용하려는 IP주소:11434)
Completion mode: Chat
위 4가지 옵션을 입력하고 나머지는 기본값으로 두고 [저장]버튼을 클릭합니다.
이렇게 추가된 모델이 목록에 표시되면 연동이 성공한 것입니다.
실행해 봅시다
챗봇 화면에서 Ollama 모델(llama 3.2)를 선택하고 챗봇 앱을 만들어 보고 디버깅을 해봅시다.
이제 로컬 LLM과 Dify가 연결되었습니다. 클라우드 환경에 의존하지 않고 자체적인 AI시스템을 구축할 수 있게 되었습니다. 데이터 보안을 보장하고 필요할 때 필요한만큼 AI LLM을 사용할 수 있게 되었습니다.
©2024-2025 GAEBAL AI, Hand-crafted & made with Damon Jaewoo Kim.
GAEBAL AI 개발사: https://gaebalai.com
AI 강의 및 개발, 컨설팅 문의: https://talk.naver.com/ct/w5umt5
