本地离线部署DeepSeek、qwen等,超详细教程

文章正文
发布时间:2025-05-11 13:55

本地离线部署DeepSeek、qwen等,超详细教程

(文末DeepSeek交流群)

本地离线部署DeepSeek、qwen等,超详细教程

一、工作场景

1、内网需要使用DeepSeek、qwen等大模型,这时就需要在内网(无互联网状态下)部署,

2、内网部署DeepSeek、qwen等大模型提供服务以供内网同事使用。

网上目前大部分本地部署大模型DeepSeek、qwen都是基于本地有网状态下部署的,本文将祥细介绍,如果在离线的状态下搭建一套DeepSeek、qwen等大模型应用。

二、准备工具

1、一台有互联网的电脑(win10以上,本人部署在windows上,在macOS、Linux均可)

2、内网电脑win10以上),最好是专业服务器(内存大的,没有显卡的也可以),如果没有服务器高一点配置的电脑也可以。

3、U盘一个,互联网电脑拷贝文件到内网使用。

三、下载软件

需要软件:Ollama、Chatbox AI

四、安装过程

互联网电脑操作

1、第一步:搭建基础环境(安装Ollama)

Ollama 是一个轻量级AI模型运行框架,支持多个开源模型,我们将用它来运行DeepSeek、qwen等

 下载 Ollama

访问 Ollama 官网

根据你的操作系统选择安装包(Windows 选择 .exe,Mac 选择 .dmg

https://ollama.com/download

本地离线部署DeepSeek、qwen等,超详细教程

本机使用windows,下载windows版本

下载完成后,按照提示进行安装:

Windows:双击安装包,一路“Next”即可

网上指导,Mac:拖拽 Ollama 图标到 Applications 文件夹

访问:11434/显示如下,证明安装成功

本地离线部署DeepSeek、qwen等,超详细教程

2. 验证安装 安装完成后,打开终端(Windows 按 Win + R 输入 cmd,Mac 直接打开 Terminal),输入:

ollama list

本机已经安装下载了3个模型显示如下,如果没有下载显示是空的。

本地离线部署DeepSeek、qwen等,超详细教程

2、第二步:部署DeepSeek、qwen等模型

访问 Ollama 官网  https://ollama.com 点击models会显示各种模型下载命令

本地离线部署DeepSeek、qwen等,超详细教程

各种模型

本地离线部署DeepSeek、qwen等,超详细教程

下载命令

本地离线部署DeepSeek、qwen等,超详细教程

cmd命令下执行命令:

ollama run deepseek-r1:7b

4.7G大小如下

本地离线部署DeepSeek、qwen等,超详细教程

下载成功后,

执行ollama list命令 ,会显示已安装

3、安装可视化界面(Chatbox AI)

终端交互虽然好用,但如果你更喜欢类似 ChatGPT 那样的可视化界面,可以安装 Chatbox AI

1. 下载 Chatbox

访问 Chatbox 官网 下载对应系统的安装包

按照默认设置完成安装

2. 连接本地模型

打开 Chatbox,进入 ⚙️ 设置

在 模型设置 里选择:

API 类型:Ollama API

模型名称:deepseek-r1:8b

点击 检查连接,如果状态正常

本地离线部署DeepSeek、qwen等,超详细教程

然后就可以进行使用了,提问周杰伦简历

本地离线部署DeepSeek、qwen等,超详细教程

内网离线部署(重点模型包的安装)

1、安装软件

U盘拷贝Ollama 和 Chatbox AI 软件 ,按照上面的步骤进行安装

2、拷贝大模型文件包

本地离线部署DeepSeek、qwen等,超详细教程

此文件下的models整体打包复制过去

不同的语义包

本地离线部署DeepSeek、qwen等,超详细教程

六、OllamaAi设置外网访问

Ollama在windows环境中如何支持通过IP来访问接口

1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接杀掉两个ollama进程。

2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量

变量:OLLAMA_HOST,值:0.0.0.0:11434

3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问

本地离线部署DeepSeek、qwen等,超详细教程

访问内网IP:11434/

显示如下,证明安装成功

本地离线部署DeepSeek、qwen等,超详细教程

Ollama在linux环境中如何支持外部或者宿主机通过IP访问其接口

1、首先停止ollama服务:systemctl stop ollama

2、修改ollama的service文件:/etc/systemd/system/ollama.service

在[Service]下边增加一行:Environment=“OLLAMA_HOST=0.0.0.0:8080”,端口根据实际情况修改

3、重载daemon文件 systemctl daemon-reload

4、启动ollama服务 systemctl start ollama

七、chatbox里设置访问

API域名换成内网IP的,即可访问

本地离线部署DeepSeek、qwen等,超详细教程

本地离线部署DeepSeek、qwen等,超详细教程

八、测试功能

本地离线部署DeepSeek、qwen等,超详细教程

九、优化交互和性能

让AI跑得更顺畅几个小技巧:

关闭其他大型程序,避免占用过多内存

复杂问题分步提问,能提高模型的理解力

使用英文关键词,有时能提升响应速度

定期重启 Ollama,释放内存,让AI保持最佳状态

常见问题及解决方案

Q1:运行时提示显存不足? A:尝试使用 8B 版本,或升级显卡驱动。

Q2:AI 回答乱码? A:在 Chatbox 设置中切换编码为 UTF-8

Q3:如何更新模型? A:在终端执行:

ollama pull deepseek-r1:8b

就能获取最新版本。

新建了一个交流群,欢迎扫码。超过200人,加V hackingheibaihong。

本地离线部署DeepSeek、qwen等,超详细教程

本地离线部署DeepSeek、qwen等,超详细教程

网络靶场思维导图

本地离线部署DeepSeek、qwen等,超详细教程

资料获取

回复“电子书”获取web渗透、CTF电子书:

回复“视频教程”获取渗透测试视频教程;  

回复“内网书籍”获取内网学习书籍;        

回复“CTF工具”获取渗透、CTF全套工具;

回复“内网渗透;获取内网渗透资料;

回复护网;获取护网学习资料 ;

回复python,获取python视频教程;

回复java,获取Java视频教程;

回复go,获取go视频教程

知识星球

【Hacking藏经阁】知识星球致力于分享技术认知

1、技术方面。主攻渗透测试(web和内网)、CTF比赛、逆向、护网行动等;

400G渗透教学视频、80多本安全类电子书、50个渗透靶场(资料主要来自本人总结、以及学习过程中购买的课程)

2、认知方面。副业经营、人设IP打造,具体点公众号运营、抖*yin等自媒体运营(目前主要在运营两个平台4个号)。

如果你也想像我一样,不想35岁以后被动的去面试,那么加入星球我们一起成长。

欢迎加入99米/年,平均每天2毛7分钱,学习网络安全一整年。

本地离线部署DeepSeek、qwen等,超详细教程

渗透实战系列

本地离线部署DeepSeek、qwen等,超详细教程


长按-识别-关注

本地离线部署DeepSeek、qwen等,超详细教程

Hacking黑白红

一个专注信息安全技术的学习平台

本地离线部署DeepSeek、qwen等,超详细教程

点分享

本地离线部署DeepSeek、qwen等,超详细教程

点收藏

本地离线部署DeepSeek、qwen等,超详细教程

点点赞

本地离线部署DeepSeek、qwen等,超详细教程

点在看

原文始发于微信公众号(Hacking黑白红):本地离线部署DeepSeek、qwen等,超详细教程

首页
评论
分享
Top