阿里云ECS服务器免费部署ChatGLM2-6B开源大模型
输入“/”快速插入内容
阿里云ECS服务器免费部署ChatGLM2-6B开源大模型
阿里云ECS服务器免费部署ChatGLM2-6B开源大模型
飞书用户68482023年9月8日修改
https://developer.aliyun.com/article/1274023?spm=a2c6h.12873639.article-detail.38.2c0645ddsVJ8RE&scm=20140722.ID_community@@article@@1274023._.ID_community@@article@@1274023-OR_rec-V_1-RL_community@@article@@1268234
创建ECS 实例
选择GPU实例
2、 设置安全组配置，配置出方向端口22，并在源IP中加入本机IP。
3、 Ssh到云ECS。系统会提示正在安装CUDA，待安装完毕，查看GPU详情（若命令无法正常运行，则说明CUDA没安装好）：nvidia-smi
4、 在ECS上安装相关软件包：
A、sudo apt-get update
B、安装gcc编译器(可选，系统中通常已有)：sudo apt install build-essential
C、安装Python，以3.9为例：sudo apt install python3.9
2.2. conda环境构建
有的时候不同的github项目依赖的python env不同，通过conda的不同虚拟环境进行管理，使用的时候方便快捷。dsw镜像默认在路径：/home/pai/bin下存在一个conda环境，可以使用该环境，也可以通过如下的方式下载最新版或者miniconda使用
代码块
# 下载最新版本的miniconda
$wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 一路回车即可
$sh Miniconda3-latest-Linux-x86_64.sh
# 初始化conda环境，会自动配置PATH保证不同环境激活的是专用的py环境
$conda init
# 重启kernel
$exit
# 查看虚拟环境列表
$conda env list
# 创建 glm6b专用的虚拟环境
$conda create -n chatglm6b python=3.9
# 激活 glm6b的环境
$conda activate chatglm6b