下载地址:https://ollama.com/
-
修改监听 地址 :
1.1 windows[System.Environment]::SetEnvironmentVariable('OLLAMA_HOST', '0.0.0.0', 'Machine')
# 监听地址[System.Environment]::SetEnvironmentVariable('OLLAMA_MODELS', '', 'Machine')
# OLLAMA 模型目录New-NetFirewallRule -DisplayName 'OLLAMA 规则' -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434
# 开端口 windows 下重启 ollama 服务netstat -aon | ? { $_ -like '*11434*' } # 查看 ollama 进程监听的地址
1.2 linux
vi /etc/systemd/system/ollama.service [Unit] Description=Ollama Service After=network-online.target [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" # 增加环境变量, 单写一行 ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin" [Install] WantedBy=default.target # 重启服务 systemctl daemon-reload systemctl restart ollama systemctl status ollama sudo ss -tuln | grep 11434 # 查看监听地址,早期使用 sudo netstat -tuln | grep 11434 sudo ufw allow 11434/tcp
-
搭配 open web ui
services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui # ports: # - "3000:8080" environment: - OLLAMA_BASE_URL=http://192.168.0.80:11434 volumes: - ./open-webui:/app/backend/data restart: always networks: - nginx_default networks: nginx_default: external: true
-
启动Ollama服务:
ollama serve
这条命令用于启动Ollama服务,允许你在本地运行和管理大型语言模型。
-
从模型文件创建模型:
ollama create
使用此命令可以从模型文件创建一个新的模型实例。
-
显示模型信息:
ollama show
这条命令用于显示当前模型的详细信息。
-
运行模型:
ollama run 模型名称
通过这条命令,你可以运行指定名称的模型。
-
从注册表中拉取模型:
ollama pull 模型名称
使用此命令可以从模型注册表中拉取指定的模型。
-
将模型推送到注册表:
ollama push
这条命令用于将你的模型推送到模型注册表中,以便其他人可以使用。
-
列出模型:
ollama list
使用此命令可以列出所有可用的模型。
-
复制模型:
ollama cp
这条命令用于复制模型。
-
删除模型:
ollama rm 模型名称
使用此命令可以删除指定名称的模型。
-
获取有关Ollama任何命令的帮助信息:
ollama help
这条命令提供了关于Ollama所有命令的帮助信息。
这些命令涵盖了从模型的创建、管理到运行的各个方面,是使用Llama模型时的常用操作。