安装 Ollama

Ollama 官方文档： https://github.com/ollama/ollama

在 Linux 机器上一键安装

curl -fsSL https://ollama.com/install.sh | sh

如果你有 Nvidia 显卡，驱动也会直接装好

编辑 /etc/systemd/system/ollama.service 启动文件，侦听 0.0.0.0 端口

Environment="PATH=/usr..."
# 改为
Environment="OLLAMA_HOST=0.0.0.0:11434" "PATH=/usr..."

启动 ollama
systemctl start ollama

开机启动
systemctl enable ollama

安装 OpenWebUI

OpenWebUI 官方文档： https://github.com/open-webui/open-webui

OLLAMA_BASE_URL 修改为Ollama 所在网卡的地址

docker run -d -p 3300:8080 -e OLLAMA_BASE_URL=http://192.168.88.26:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在本地 http://localhost:3030 就能观测到

使用 nginx 反向代理

server {
    listen 80;
    server_name demo.jansora.com;

    location / {
        proxy_pass_header Server;
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Scheme $scheme;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection upgrade;
        proxy_pass http://192.168.88.26:3300/;
    }
}