FastChat 本地化安装部署

文章正文
发布时间:2025-05-14 09:39

写在前面:第一发稿把自己熬夜几天的一些经历写下来,希望能给AI爱好者一个前车之鉴,自从看到斯坦福-ALPACA项目就想着能否能否本地化部署一套AI CHAT,所以找了很多网站,都没有FastChat部署能很完整的写下来,所以有了本文:

1 前期准备:  N卡(24G以上显存),16G内存 ,i5以上的CPU

2 操作系统:Ubuntu 22.04    https://ubuntu.com/download/desktop/thank-you?version=22.04.2&architecture=amd64

3 安装N卡驱动:

3.1 选择系统自带的Nk驱动

3.2 下载最新的   官方驱动 | NVIDIA

3.3 使用nvidia-smi确认驱动是否安装成功

4 安装环境:

sudo apt update sudo apt install tmux htop wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh bash Anaconda3-2022.10-Linux-x86_64.sh conda create -n fastchat python=3.9 conda activate fastchat git clone https://github.com/lm-sys/FastChat.git    #如果失败加上https://ghproxy.com/https://github.com/lm-sys/FastCha

首页
评论
分享
Top