[LLM] Ollama 모델 사용기 - 2

Open WebUI

• Open WebUI는 완전히 오프라인으로 작동되며, 사용자 친화적인 자체 호스팅 AI 플랫폼이다.
• RAG용 추론 엔진이 내장되어 Ollama 및 OpenAI 호환 API와 같은 다양한 LLM 실행기를 지원한다.
• github : https://github.com/open-webui/open-webui
• Open WebUI doc : https://docs.openwebui.com/getting-started/quick-start/

docker image 다운로드

• open webui 도커이미지 다운로드한다.

  docker pull ghcr.io/open-webui/open-webui:main

docker container 실행

• Container 실행위하여 아래 명령어 참고한다.
  • Model Load없이 순수하게 Open WebUI만 실행된다.

// 기본 실행 명령어
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

// single mode 실행(-e WEBUI_AUTH=False) (login 페이지 없음)
docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

• 명령어 필수 옵션
  • Volume Mapping(-v open-webui:/app/backend/data) : 데이터 저장 위함
  • Port Mapping(-p 3000:8080) : 로컬 시스템의 포트 3000에 WebUI를 노출시킴
• GPU 사용한다면 아래 명령어로 Container 실행한다.
  • cuda 드라이버 등 설치가 필요할 것으로 추정된다.

    docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

WebUI 접속

• 아래 주소로 접속한다.

http://localhost:3000

• 접속 화면
  • 이미 계정을 생성된 상태라 로그인 창이 보여지고,
  • 최초 실행 시 회원가입 창이 보인다.

Ollama 모델 사용하기

• Open WebUI에서 Ollama모델을 로드해보자
  • https://docs.openwebui.com/getting-started/quick-start/starting-with-ollama/
• Open WebUI가 설치되어 실행되면 자동으로 Ollama 인스턴스에 연결을 시도한다.
  • 만약, 모델 리스트가 없으면 다운로드 된 ollama 모델이 없거나, Ollama Process가 켜져있지 않은 것.

1. 모델이 없는 경우

• C:\Users\%username%\.ollama경로에 모델이 있는지 확인하거나,
• https://ollama.com/library을 확인해서 원하는 이미지를 다운받으면 된다.

ollama pull {imagename}

2. Ollama 실행

• ollama 실행은 설치 폴더에서 cmd 실행 후 ollama만 입력해도 실행이 된다.

ollama 모델 정상 로드 및 실행 화면