本地部署类似 ChatGPT 的大模型：基于 Ollama + Open

本教程介绍如何在本地使用 Ollama 和 Open-WebUI 部署类似 ChatGPT 的网页版大模型，实现流畅的自然语言交互。

默认界面为英文，若不习惯，可以调整为中文。

二、部署 Ollama

1. Ollama 说明

Ollama 是一个大模型容器管理框架，可帮助用户快速在本地运行大模型，类似于 Docker。它支持 GPU 和 CPU，会自动根据硬件选择最佳运行方式。

硬件要求：

2. 服务器选择

对于云端运行或本地部署，推荐使用 慈云数据 提供的云服务器，支持高性能计算任务，适合 AI 模型训练与推理。

推荐配置（基于 慈云数据 云服务器）：

2 核 4G：适用于轻量级本地推理测试

4 核 8G：适用于中型模型推理

8 核 16G 及以上：适用于大型模型的并行计算

可前往 慈云数据官网 选择合适的服务器方案。

3. 安装 Ollama Windows 系统 3.1 下载安装包

直接下载并安装 Ollama Windows 版，安装路径默认为：

C:\Users\Administrator\AppData\Local\Programs\Ollama 3.2 验证安装

安装完成后，在 CMD 命令行 输入：

ollama -v

如果出现版本号，则安装成功。若 Ollama 进程意外关闭，可用以下命令重启：

ollama serve 3.3 设置模型文件存储位置

避免模型文件占用系统盘，可设置环境变量：

OLLAMA_MODELS=D:\ollama_models

如果不设置，默认存储在 C:\Users\用户名\.ollama\models。

3.4 下载 LLaMA3-8B ollama pull llama3:8b

运行模型：

ollama run llama3:8b

如遇 下载速度变慢，可 Ctrl+C 终止后 重新下载，通常速度会恢复。

Linux 系统 3.5 安装 Ollama curl -fsSL https://ollama.com/install.sh | sh 3.6 设置环境变量 echo 'export OLLAMA_HOST="0.0.0.0:11434"' >> ~/.bashrc echo 'export OLLAMA_MODELS=/root/ollama/models' >> ~/.bashrc source ~/.bashrc 3.7 运行 Ollama ollama serve 3.8 下载并运行 LLaMA3-8B ollama run llama3:8b 三、部署 Open-WebUI 1. Open-WebUI 介绍

Open-WebUI 是一款自托管的 Web 界面，支持 Ollama、OpenAI 兼容 API，完全离线运行。

2. 安装 Open-WebUI

2.1 Windows 2.1.1 下载源码

从 GitHub 或 Gitee 获取 open-webui 源码：

git clone https://github.com/open-webui/open-webui.git

复制 .env 文件：

cp .env.example .env 2.1.2 配置 Python 虚拟环境

使用 Pycharm 或手动创建 Python 虚拟环境：

python -m venv venv source venv/bin/activate 2.1.3 安装 Node.js 依赖 npm config set registry https://mirrors.huaweicloud.com/repository/npm/ npm i npm run build 2.1.4 安装 Python 依赖 cd backend pip install -r requirements.txt 2.1.5 启动 WebUI start_windows.bat

此时，访问 :3000 即可使用 WebUI。

2.2 Linux 2.2.1 安装 Node.js curl -sL https://deb.nodesource.com/setup_20.x | bash - apt install nodejs -y 2.2.2 安装 Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh bash miniconda.sh -b -u -p ~/miniconda3 source ~/.bashrc 2.2.3 创建 Python 虚拟环境 conda create -n open-webui python=3.8 conda activate open-webui 2.2.4 下载源码 git clone https://gitee.com/pandaworker/open-webui.git cd open-webui cp -RPp .env.example .env 2.2.5 安装前端依赖 npm i npm run build 2.2.6 安装后端依赖 cd backend pip install -r requirements.txt 2.2.7 启动 Open-WebUI bash start.sh

访问 :3000 即可使用 WebUI。

四、注意事项

管理员账户：注册的 第一个用户 为管理员账户，其他用户需手动分配权限。

修改默认用户角色：可在 backend/config.py 中更改： DEFAULT_USER_ROLE = "admin" # 修改为 "user" 或 "admin"

常见问题：

Ollama 运行失败 (Error: llama runner process no longer running: 3221225785)
可能是 Ollama 版本过高，建议降级到 0.1.31，可在 获取旧版本下载链接。

总结

本教程介绍了如何在 本地服务器或云服务器 上部署 Ollama + Open-WebUI 以实现类似 ChatGPT 的大模型服务。对于 云端部署，建议使用 慈云数据 云服务器，提供稳定的计算资源和高可用性支持。

完成上述步骤后，你的本地 ChatGPT 即可投入使用！🚀