ollama : 무료 오픈소스 LLM 실행 가능

docker pull ollama/ollama

터미널에서 해당 명령어로 ollama를 도커 이미지로 풀 해온다.

https://hub.docker.com/r/ollama/ollama

ㄱ,리고 실행하면 

https://www.developerfastlane.com/blog/ollama-usage-guide

Ollama란? Ollama 사용법: 내 PC에서 무료로 LLM 실행하기 | 코딩추월차선

그러면됨 ㅇㅇ 

 

ollama run llama3

 

 

 

https://devmeta.tistory.com/68

ollama 활용 llama3 사용법 (우선 window)

 

근데 윈도우로 하는게 더 편해서 윈도우로 깔았다 .. . 

 

윈도우로 설치 후 ollama 실행하면 기본 포트 11434로 로컬 서버가 실행됨. 

올라마 서버임. 

 

파이썬에서 이 올라마를 불러오려면 pip install ollama. 로 패키지 다운로드 하세요

import ollama
response = ollama.chat(model='llama3', messages=[
  {
    'role': 'user',
    'content': '한국어로 말해줘. 하늘이 파란 이유는?',
  },
])
print(response['message']['content'])

이러면 대답을 해줍니다.

 

 

 

 

 

 

 

 

 

 

 

GPT4ALL은 오픈소스 모델을 파인튜닝한 것이다. 

 

https://github.com/nomic-ai/gpt4all/blob/main/gpt4all-lora-demo.gif

gpt4all/gpt4all-lora-demo.gif at main · nomic-ai/gpt4all