基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3：
deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py \
--deepspeed ds_config.json \
--stage sft \
--model_name_or_path models/chatglm3-6b \
--do_train \
--dataset aaa,bbb\
--template chatglm3 \
--finetuning_type lora \
--lora_target query_key_value \
--output_dir output/aaabbbccc/ \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 200 \
--learning_rate 5e-5 \
--num_train_epochs 200 \
--plot_loss \
--overwrite_output_dir True \
--fp16
其中，ds_config.json用的是LLaMA-Factory的github中给出的默认配置。但一直报错：Caught signal 7 (Bus error: nonexistent physical address)。
最终在这里看到别人的讨论（https://github.com/huggingface/transformers-bloom-inference/issues/16），得到启发，用df -h查看，确实是/dev/shm内存太小。因为笔者是用docker image来运行的，所以无法直接通过remount来修改其内存大小。
最终发现，通过下面这个命令来启动docker image，就能增大/dev/shm的内存，然后就能成功运行上面这个deepspeed的多GPU训练命令。
docker run -it --shm-size 6G image_name /bin/bash
版权声明：本文为博主作者：ybdesire原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/ybdesire/article/details/134604587
