文章浏览阅读1.3w次,点赞72次,收藏135次。KTransformers作为一个开源框架,专门为优化大规模语言模型的推理过程而设计。它支持GPU/CPU异构计算,并针对MoE架构的稀疏性进行了特别优化,可以有效降低硬件要求,允许用户在有限的资源下运行像DeepSeek-R1这样庞大的模型。例如,...
文章浏览阅读2.8k次,点赞38次,收藏15次。想掌握 DeepSeek R1 大模型的使用技巧吗?这篇文章帮你搞定。文中会为你提供超详细的本地部署教程,哪怕是技术小白也能轻松上手。此外,还分享了丰富的新手和高级使用技巧,无论是日常使用还是深度挖掘模型潜力,都能让你收获满满,快速成为 DeepSee...
通过以上方法,用户可根据自身需求和硬件条件灵活部署DeepSeek,摆脱服务器限制,享受本地AI的高效与安全。:支持多平台,命令行与图形界面结合,适合隐私敏感场景。:需手动管理模型文件,部分功能依赖第三方工具。:操作简单,支持图形化界面,无需编程基础。:下载速度可能受限(可切换国内镜像解决)。:需编...
文章浏览阅读4k次,点赞16次,收藏25次。DeepSeek通过架构创新(如MoE、MLA)和训练优化(如FP8、主动学习),在低算力条件下实现了与顶级模型(如GPT-4)相近的性能,同时兼顾开源与成本效益。其不足在于处理极端复杂多模态场景时仍需优化,且与GPT-4的指令跟随能力存在约20%的差距。...
Office/WPS接入DeepSeek-R1多种大模型,开启办公新模式!,Office/WPS接入DeepSeek-R1多种大模型,开启办公新模式!...
文章浏览阅读2.2k次,点赞21次,收藏20次。主要解决怎么让ollama调用AMD显卡的GPU_amd显卡部署deepseek...
文章浏览阅读5.2k次,点赞16次,收藏33次。DeepSeek R1 是由国内团队开发的高性能开源大模型。详细介绍可以看这里:[甚至比 OpenAI-O1表现更好!我测了 DeepSeek R1,结论只有两个字:牛逼!那本文将介绍其蒸馏版本在普通家用笔记本上的部署和使用,之所以选择蒸馏版本,是因为...
(文末DeepSeek交流群) 一、工作场景 1、内网需要使用DeepSeek、qwen等大模型,这时就需要在内网(无互联网状态下)部署, 2、内网部署DeepSeek、qwen等大模型提供服务以供内网同事使用。 网上目前大部分本地部署大模型DeepSeek、qwen都是基于本地有网状态下部署的...
文章浏览阅读1.8w次,点赞79次,收藏246次。因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署, 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功,Ollama 没有用户界面,在后台运行。打开浏览器,输入 “ht...
如何在 Ubuntu 24.04 上安装 Zabbix 在此页面上先决条件安装 PostgreSQL 服务器添加 Zabbix 存储库安装 Zabbix将 Zabbix 与 PostgreSQL 服务器集成设置 Nginx重启Zabbix服务Zabbix安装向导结论Zabbix 是一个免费的开源 ...
文章浏览阅读4k次,点赞16次,收藏25次。DeepSeek通过架构创新(如MoE、MLA)和训练优化(如FP8、主动学习),在低算力条件下实现了与顶级模型(如...
文章浏览阅读2.2k次,点赞21次,收藏20次。主要解决怎么让ollama调用AMD显卡的GPU_amd显卡部署deepseek...
文章浏览阅读4.9k次,点赞5次,收藏22次。接下来我们再来看看查询流程的定义信息。key:{};version:{};} }来看看控制台打印的 SQL:可以看...
前言: 我们访问的网站通常都是 https开头的, 如果是 http 协议的网址,访问时会显示不安全(以chrome为例) 另外 http 还会影响我们网站的S...
文章浏览阅读8.3k次,点赞3次,收藏31次。本文详细介绍了如何在服务器上部署Selenium,包括安装Chrome及Chromedriver,配置无头模式,以...
SPRINGDOC.CN 提供Spring Boot官方文档的翻译服务,可以方便你快速阅读中文版官方文档。...
文章浏览阅读1.5w次,点赞26次,收藏114次。若依ruoyi代码生成_若依代码生成 csdn...
文章浏览阅读1.1w次,点赞43次,收藏110次。本文详细描述了在使用若依框架时,如何在富文本框中上传文件、文件上传后的存储路径、以及如何通过后端代码实现文件回...
文章浏览阅读1.4w次,点赞23次,收藏112次。RuoYi-Vue 是一个 Java EE 企业级快速开发平台,基于经典技术组合(Spring Boot、Sp...
部署完成之后,点击LMStudio左上方的对话框,然后在顶部选择要加载的模型即可。...