ollama 常用命令

下载地址:https://ollama.com/

  1. 修改监听 地址
    1.1 windows

    [System.Environment]::SetEnvironmentVariable('OLLAMA_HOST', '0.0.0.0', 'Machine') # 监听地址 
    [System.Environment]::SetEnvironmentVariable('OLLAMA_MODELS', '', 'Machine')  # OLLAMA 模型目录
    New-NetFirewallRule -DisplayName 'OLLAMA 规则' -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434 # 开端口
    windows 下重启 ollama 服务
    netstat -aon | ?  { $_ -like '*11434*' } # 查看 ollama 进程监听的地址

    1.2 linux

    vi /etc/systemd/system/ollama.service  
    
    [Unit]
    Description=Ollama Service
    After=network-online.target  
    
    [Service]
    Environment="OLLAMA_HOST=0.0.0.0:11434"   # 增加环境变量, 单写一行
    ExecStart=/usr/local/bin/ollama serve
    User=ollama
    Group=ollama
    Restart=always
    RestartSec=3
    Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
    
    [Install]
    WantedBy=default.target
    
    # 重启服务
    systemctl daemon-reload
    systemctl restart ollama
    systemctl status ollama
    
    sudo ss -tuln | grep 11434 # 查看监听地址,早期使用 sudo netstat -tuln | grep 11434
    sudo ufw allow 11434/tcp
    
  2. 搭配 open web ui

    services:
     open-webui:
        image: ghcr.io/open-webui/open-webui:main
        container_name: open-webui
        # ports:
            # - "3000:8080"
        environment:
            - OLLAMA_BASE_URL=http://192.168.0.80:11434
        volumes:
            - ./open-webui:/app/backend/data
        restart: always
        networks:
            - nginx_default
    networks:
     nginx_default:
        external: true
  3. 启动Ollama服务

    ollama serve

    这条命令用于启动Ollama服务,允许你在本地运行和管理大型语言模型。

  4. 从模型文件创建模型

    ollama create

    使用此命令可以从模型文件创建一个新的模型实例。

  5. 显示模型信息

    ollama show

    这条命令用于显示当前模型的详细信息。

  6. 运行模型

    ollama run 模型名称

    通过这条命令,你可以运行指定名称的模型。

  7. 从注册表中拉取模型

    ollama pull 模型名称

    使用此命令可以从模型注册表中拉取指定的模型。

  8. 将模型推送到注册表

    ollama push

    这条命令用于将你的模型推送到模型注册表中,以便其他人可以使用。

  9. 列出模型

    ollama list

    使用此命令可以列出所有可用的模型。

  10. 复制模型

    ollama cp

    这条命令用于复制模型。

  11. 删除模型

    ollama rm 模型名称

    使用此命令可以删除指定名称的模型。

  12. 获取有关Ollama任何命令的帮助信息

    ollama help

    这条命令提供了关于Ollama所有命令的帮助信息。

这些命令涵盖了从模型的创建、管理到运行的各个方面,是使用Llama模型时的常用操作。

上一篇
下一篇