Ollama는 온프레미스(내부 서버 설치형)로 AI 모델을 운영할 수 있게 해줍니다. 그런데 한글 처리와 응답 속도와 답변 품질 등에서 주요 AI 제공자의 모델과 차이가 있습니다. 이런 한계에도 불구하고 매뉴얼웍스는 설치형 AI 모델의 검증과 테스트를 위해 Ollama를 지원합니다.
Ollama, 로컬에서 LLM을 쉽게 실행하는 방법
Ollama는 자신의 컴퓨터에서 대규모 언어 모델(LLM)을 쉽게 다운로드하고 실행할 수 있도록 돕는 오픈소스 도구입니다. 복잡한 설정 과정 없이 몇 가지 간단한 명령어를 통해 DeepSeek-R1, Llama3.2 등 다양한 인기 LLM을 로컬 환경에 구축하고 바로 사용할 수 있게 해줍니다. 이를 통해 인터넷 연결 없이도 LLM의 강력한 기능을 활용하고, 데이터에 대한 프라이버시를 유지하면서 모델을 테스트하거나 개발하는 데 유용합니다.
Ollama 설치 및 실행
Ollama 사이트를 참고해서 프로그램을 다운로드하고 설치합니다.
Ollama를 매뉴얼웍스를 설치한 서버에 함께 설치하는 것은 권장하지 않습니다.
Ollama 주요 명령어
윈도우는 PowerShell, 리눅스는 터미널에서 다음 명령어 등을 실행하여 모델 추가/삭제 등의 작업을 할 수 있습니다.
버전 확인
ollama --version
매뉴얼웍스가 지원하는 기본 모델
여러 AI 모델 중에 DeepSeek와 LLama의 파라미터가 적은 것을 기본으로 제공합니다. 다른 모델은 임의로 추가할 수 있습니다.
유형 | AI 모델 |
|---|---|
생성형 AI 모델 | deepseek-r1:1.5b |
llama3.2:1b | |
임베딩 AI 모델 | nomic-embed-text |
모델 목록 확인하기
Ollama에 추가한 모델을 확인하려면 터미널에서 다음 명령어를 실행합니다. 처음에는 목록이 비어 있습니다.
ollama list
모델 상세 정보 확인하기
AI 모델의 상세 정보를 확인하려면 터미널에서 다음 명령어를 실행합니다.
ollama show <model>
모델 추가하기
Ollama에 모델을 추가하려면 터미널에서 다음 명령어를 실행합니다.
ollama pull <model>
Ollama기 지원하는 모델 목록은 다음에서 확인합니다.
모델 삭제하기
Ollama에서 모델을 삭제하려면 터미널에서 다음 명령어를 실행합니다.
ollama rm <model>
Ollama를 운영하기 위한 하드웨어 사양
Ollama에서 운영하는 모델에 따라 다르지만, AI 모델을 실행하기 위해서는 충분한 CPU 또는 GPU 리소스가 필요합니다. CPU만으로도 동작하지만 GPU가 있을 때보다는 느릴 수 있습니다.
Ollama는 NVIDIA/AMD GPU를 자동으로 감지합니다.
Ollama에서 권장한 RAM 요구 사항은 다음과 같습니다.
You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.
Ollama 시작과 정지
윈도우
Ollama를 시작하려면 PowerShell에서 다음 명령어를 실행합니다.
ollama serve
윈도우 서비스에 등록하려면 NSSM을 이용합니다.
Ollama를 정지하려면 PowerShell에서 Ctrl + C 단축키를 입력합니다.
리눅스
리눅스 터미널에서 다음 명령어를 실행합니다.
ollama serve
Ollama를 정지하려면 리눅스 터미널에서 Ctrl + C 단축키를 입력합니다. 또는 다음 명령어를 실행합니다.
pkill -f "ollama serve"
다른 컴퓨터에서 Ollama 호출하기
Ollama는 API 키가 없어 누구나 접속 가능합니다. 따라서 기본적으로 Ollama를 설치한 서버에서만 호출할 수 있습니다. 다른 컴퓨터에서 호출할 수 있도록 하려면 추가 설정이 필요하고, IP 등으로 제한해야 합니다.
아래 설정과 상관없이 방화벽을 통해 Ollama의 포트 11434 접근이 가능해야 합니다.
윈도우
윈도우 환경 변수에서 OLLAMA_HOST를 0.0.0.0으로 설정합니다.
윈도우 시작에서 “시스템 환경 변수 편집”으로 검색한 후 클릭합니다.
“1환경 변수”를 클릭합니다.
사용자 또는 시스템 변수에서 “새로 만들기”를 클릭합니다.
변수 이름과 값을 입력한 후 저장합니다.
변수 이름: OLLAMA_HOST
변수 값: 0.0.0.0
특정 서버만 접근하게 하려면 0.0.0.0을 해당 서버의 IP 주소로 입력하거나 방화벽으로 제한합니다. 여러 서버에서 접속해야 한다면 방화벽으로 제어해야 합니다.
Ollama를 다시 시작합니다.
리눅스
다음 환경 변수를 설정한 후 Ollama를 다시 시작합니다.
export OLLAMA_HOST=0.0.0.0
특정 서버만 접근하게 하려면 0.0.0.0을 해당 서버의 IP 주소로 입력하거나 방화벽으로 제한합니다. 여러 서버에서 접속해야 한다면 방화벽으로 제어해야 합니다.
Ollama에 HTTPS 적용하기
Ollama는 기본적으로 HTTP(포트 11434)만 지원하기 때문에, HTTPS로 운영하려면 아파치 웹 서버나 Nginx 같은 리버스 프록시(reverse proxy)를 앞단에 두어야 합니다.