1.安装python

conda create -n glm python=3.8

2.进入conda 环境安装 torch

pip install torch==2.1.0+cu121 torchvision==0.16.0+cu121 torchaudio==2.1.0+cu121 --index-url https://download.pytorch.org/whl/cu121

• 注意查看显卡的cuda版本，选择对应的pytorch进行安装

3.安装 Microsoft Visual C++ Build Tools or 手动设置环境

https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/

推荐使用这种当出现
      LINK : fatal error LNK1181: 无法打开输入文件“aio.lib”
      test.c
      LINK : fatal error LNK1181: 无法打开输入文件“cufile.lib”
说明缺少这几个环境,在单独安装deepspeed 时,手动set 即可

set DS_BUILD_AIO=0
set DS_BUILD_EVOFORMER_ATTN=0
set DS_BUILD_OPS=0
set DS_BUILD_SPARSE_ATTN=0

4.安装包

安装 deepspeed 前置包
pip install py-cpuinfo


记得修改 deepspeed的版本为 0.3.16
pip install -r requirements.txt

4.修改模型位置