分享
阿里云ECS服务器免费部署ChatGLM2-6B开源大模型
输入“/”快速插入内容
阿里云
ECS
服务器免费部署ChatGLM2-6B开源
大模型
飞书用户6848
2023年9月8日修改
https://developer.aliyun.com/article/1274023?spm=a2c6h.12873639.article-detail.38.2c0645ddsVJ8RE&scm=20140722.ID_community@@article@@1274023._.ID_community@@article@@1274023-OR_rec-V_1-RL_community@@article@@1268234
创建
ECS
实例
选择
GPU
实例
2、 设置安全组配置,配置出方向
端口
22,并在源
IP
中加入本机IP。
3、
Ssh
到云
ECS
。系统会提示正在安装
CUDA
,待安装完毕,查看
GPU
详情(若命令无法正常运行,则说明CUDA没安装好):
nvidia-smi
4、 在
ECS
上安装相关软件包:
A、
sudo apt-get update
B、安装
gcc
编译器(可选,系统中通常已有):
sudo apt install build-essential
C、安装Python,以3.9为例:
sudo apt install python3.9
2.2.
conda
环境构建
有的时候不同的
github
项目依赖的python
env
不同,通过
conda
的不同
虚拟环境
进行管理,使用的时候方便快捷。dsw镜像默认在路径:/home/pai/bin下存在一个conda环境,可以使用该环境,也可以通过如下的方式下载最新版或者miniconda使用
代码块
Bash
# 下载最新版本的miniconda
$wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 一路回车即可
$sh Miniconda3-latest-Linux-x86_64.sh
# 初始化conda环境,会自动配置PATH保证不同环境激活的是专用的py环境
$conda init
# 重启kernel
$exit
# 查看虚拟环境列表
$conda env list
# 创建 glm6b专用的虚拟环境
$conda create -n chatglm6b python=3.9
# 激活 glm6b的环境
$conda activate chatglm6b