大模型使用——超算上部署LLAMA-2-70B-Chat

大模型使用——超算上部署LLAMA-2-70B-Chat

前言
1、本机为Inspiron 5005，为64位，所用操作系统为Windos 10。超算的操作系统为基于Centos的linux，GPU配置为A100，所使用开发环境为Anaconda。
2、本教程主要实现了在超算上部署LLAMA2-70B-Chat。

实现步骤
1、连接上超算以后，执行如下命令在超算上创建一个虚拟环境。

conda create --name alpaca python=3.9 -y

2、运行如下命令激活虚拟环境。

conda activate alpaca

3、在到LLAMA2的Github地址下载好llama2项目。

4、将下载好llama2项目的文件通过自己windows上的cmd中输入scp指令传输到超算上。

scp -r E:\llama-main wangcheng@10.26.14.56:/public/home/wangcheng/

5、在超算上进入llama-main文件夹，然后输入如下命令安装稳定版的llama2运行的依赖。

cd llama-main
pip install -e .

6、在Meta申请LLAMA2使用的链接地址上填写资料，然后申请LLAMA2模型的下载链接，申请完毕可以得到一份邮件，邮件中包含了下载链接。

7、在超算的llama-main目录下使用如下指令开始下载模型，在下载模型开始时，会要求你输入下载链接，第二步会让你选择要下载的模型，你选好要下载的模型以后，程序便会自己进行下载，整个过程时间比较长，在模型下载完毕后会自己先进行一步模型文件下载是否完整的校验，若你要自己进行一下文件的校验，可以使用如下所示的第二条指令，第二条指令双引号中的内容在下载的模型文件夹中包含的checklist.chk文件中找到，然后进行替换校验即可。

bash download.sh

echo "6efc8dab194ab59e49cd24be5574d85e  consolidated.00.pth" | md5sum --check -