基于LLaMA-Factory,用4个V100的GPU,如下命令训练ChatGLM3:
deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py \
--deepspeed ds_config.json \
--stage sft \
--model_name_or_path models/chatglm3-6b \
--do_train \
--dataset aaa,bbb\
--template chatglm3 \
--finetuning_type lora \
--lora_target query_key_value \
--output_dir output/aaabbbccc/ \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 200 \
--learning_rate 5e-5 \
--num_train_epochs 200 \
--plot_loss \
--overwrite_output_dir True \
--fp16
其中,ds_config.json用的是LLaMA-Factory的github中给出的默认配置。但一直报错:Caught signal 7 (Bus error: nonexistent physical address)
。
最终在这里看到别人的讨论(https://github.com/huggingface/transformers-bloom-inference/issues/16),得到启发,用df -h
查看,确实是/dev/shm
内存太小。因为笔者是用docker image来运行的,所以无法直接通过remount来修改其内存大小。
最终发现,通过下面这个命令来启动docker image,就能增大/dev/shm
的内存,然后就能成功运行上面这个deepspeed的多GPU训练命令。
docker run -it --shm-size 6G image_name /bin/bash
版权声明:本文为博主作者:ybdesire原创文章,版权归属原作者,如果侵权,请联系我们删除!
原文链接:https://blog.csdn.net/ybdesire/article/details/134604587