LLama大模型初体验——Linux服务器部署LLama注意事项
一、基本步骤
基本步骤可以参考这个链接：超详细Llama2部署教程——个人gpt体验攻略！
llama开源仓库：https://github.com/facebookresearch/llama
二、注意事项
这里提一些教程链接中没有提及的注意点。
1、Request access to the next version of Llama
在“Request access to the next version of Llama”网页中，Country选择China的话会显示“Sorry, the download is not available in your region”，选择其他选项即可。
2、安装Llama2运行依赖
# 国内环境可以使用清华源加速
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
使用这条命令，下载速度更快。
3、下载模型权重
bash download.sh
教程链接中，这条命令有两个“bash”，在linux里面写一个“bash”即可。
我选择下载的是7B-chat，大小约12G，下载耗时大约50min。
下载进度到达99%时，可能报错（大概意思是download.sh文件最后一行运行出错）。重新运行此命令即可（重新运行此命令不会耗费很长时间）。
4、运行模型前，检查torch是否可用
检查方法：进入python环境，依次输入如下命令：
>> import torch
>> torch.cuda.is_available()
如果返回为True，表示torch可用；
如果返回为False，做如下步骤：
①检查安装的pytorch版本与cuda版本是否匹配（可在官网或搜索引擎查找与服务器配置的cuda版本对应的pytorch版本进行下载）；
通过nvidia-smi查看cuda版本；通过python中torch.__version__查看pytorch版本
②确认pytorch版本与cuda版本匹配情况下返回仍为False时，使用conda list命令检查安装的pytorch是否为cpu版本。如果是，使用conda uninstall pytorch命令卸载pytorch，然后根据官网提供的安装命令重新安装gpu版本。
参考：torch.cuda.is_available函数总返回False
5、运行模型demo的参数配置
在llama文件夹里有2个py文件，分别用于展示Llama的文本补充（example-text-completion.py）和对话能力（example_chat_completion.py）。
在运行命令的时候，一些参数的配置需要注意，直接按照教程链接的写法会报一些错。
（1）运行example-text-completion.py
可运行的命令：
torchrun --nproc_per_node 1 example_text_completion.py --ckpt_dir llama-2-7b-chat/ --tokenizer_path tokenizer.model --temperature 0.6 --top_p 0.9 --max_gen_len 64 --max_seq_len 128 --max_batch_size 4
--nproc_per_node 1表示每个训练节点只使用1个GPU；
example_text_completion.py表示运行的py文件；
--ckpt_dir表示使用的模型的路径。注意：需要根据自己下载、使用的模型进行更改。如果打算使用的是7B模型，那么ckpt_dir参数是llama-2-7b/；如果打算使用的是7B-chat模型，那么ckpt_dir参数是llama-2-7b-chat/；其他模型同理。
--tokenizer_path表示使用的tokenizer的路径；
--temperature、--top_p、--max_gen_len、--max_seq_len、--max_batch_size都是需要配置的参数。此处的参数取值参考了仓库中generation.py中generate()函数的参数默认值。
教程中只配置了
--max_seq_len、--max_batch_size这两个参数，是会报错的。
运行成功后，虽然没有交互功能，但是会直接显示写在该py文件中的一些prompt的输出：
如果想要获取其他问题的输出，可以修改该py文件中的prompts变量。
因为有限制max_seq_len，所以输出长度有限，部分回答看起来并不完整。
（2）运行example-chat-completion.py
可运行的命令：
torchrun --nproc_per_node 1 example_chat_completion.py --ckpt_dir llama-2-7b-chat/ --tokenizer_path tokenizer.model --temperature 0.6 --top_p 0.9 --max_seq_len 512 --max_batch_size 4
参数解释同上。
教程中只配置了
--max_seq_len、--max_batch_size这两个参数，是会报错的。
另外，直接运行此命令可能会在assert bsz <= params.max_batch_size, (bsz, params.max_batch_size)这里报错。max_batch_size经人为设置为4，而bsz对应的是该py文件中dialogs这个列表变量的长度，在文件未被改动的情况下是6，所以会报错。
有两种解决方法：
①调大max_batch_size，大于6即可。但是这种做法可能面临CUDA out of memory.的问题而运行失败；
②删减dialogs列表元素，使其元素剩余个数小于4。
运行成功后，虽然没有交互功能，但是会直接显示写在该py文件中的一些dialogs的输出：
如果想要获取其他问题的输出，可以修改该py文件中的dialogs变量。
因为有限制max_seq_len，所以输出长度有限，部分回答看起来并不完整。
文章出处登录后可见！
