Ollama + Open WebUI 私有化大模型部署

“Ollama”实际上是指一个开源的人工智能模型项目,它专注于提供一种可以生成文本的AI服务,尤其在对话和文本创作领域。

  • 约 3 分钟
  • 767 字

安装 Ollama

Ollama 官方文档: https://github.com/ollama/ollama
在 Linux 机器上一键安装
纯文本
curl -fsSL https://ollama.com/install.sh | sh
如果你有 Nvidia 显卡,驱动也会直接装好
编辑 /etc/systemd/system/ollama.service 启动文件,侦听 0.0.0.0 端口
纯文本
Environment="PATH=/usr..."
# 改为
Environment="OLLAMA_HOST=0.0.0.0:11434" "PATH=/usr..."
启动 ollama systemctl start ollama
开机启动 systemctl enable ollama

安装 OpenWebUI

OLLAMA_BASE_URL 修改为Ollama 所在网卡的地址
纯文本
docker run -d -p 3300:8080 -e OLLAMA_BASE_URL=http://192.168.88.26:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
在本地 http://localhost:3030 就能观测到
使用 nginx 反向代理
nginx


server {
    listen 80;
    server_name demo.jansora.com;

    location / {
        proxy_pass_header Server;
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Scheme $scheme;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection upgrade;
        proxy_pass http://192.168.88.26:3300/;
    }
}

评论栏

分享你的想法,或参与下面的讨论。

参与讨论

支持 Markdown、代码和图片

撰写评论
正在加载编辑器…

友善交流,让讨论更有价值。

更多留言

加载中…