[LLM] Ollama 모델 사용기 - 1

Ollama

• Ollama는 LLM 중 한 종류이다.
• ChatGPT와 비교하여 성능이 우수하다고 들었고, 사용해보기로 했다.
• 그리고 아래는 누군가가 모델 별 성능을 비교해 놓은 표이다.
  • https://medium.com/@ruslanmv/how-to-run-ollama-webui-chatbot-locally-offline-5a23ec47459a

작업환경

• OS: Window 10
• GPU : GeForce GTX 1050 Ti

Ollama 설치

• ollama github
  • https://github.com/ollama/ollama
• 아래 링크 중 한 곳에서 셋업파일 다운로드 진행 및 설치까지 진행한다.
  • https://ollama.com/download
  • https://github.com/ollama/ollama?tab=readme-ov-file

사용자 지정 설치경로 지정 방법

• cmd 실행 후 아래 명령어를 참고하여 지정 경로에 설치한다.

  OllamaSetup.exe /Dir="{사용자 지정 경로}"

모델 종류

• 현재 Ollama에서 제공하는 통합 모델은 llama3.3이다.

• 용량이 43gb 가까이 되는 모델이기 때문에, 목적에 맞는 모델을 선택하여 다운로드 한다.

  • https://ollama.com/library

• 저자는 Codellama모델 7b (3.8gb) 다운로드하여 테스트를 진행했다.

• 모델 저장 경로는 아래 링크에서 참고

  • https://github.com/ollama/ollama/blob/main/docs/faq.md#where-are-models-stored

Ollama 실행

• 사용자 지정 경로에서 cmd를 실행, 명령어 입력하여 사용할 수 있다.

C:\Users\administrator\Desktop\ollama\setup>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

C:\Users\administrator\Desktop\ollama\setup>ollama ps
NAME    ID    SIZE    PROCESSOR    UNTIL

C:\Users\administrator\Desktop\ollama\setup>ollama list
NAME                ID              SIZE      MODIFIED
codellama:latest    8fdf8f752f6e    3.8 GB    5 hours ago

C:\Users\administrator\Desktop\ollama\setup>ollama run codellama
>>> hello

Hi there!

>>> Send a message (/? for help)