LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

参考:https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory

1、LLaMA-Factory可视化界面微调chatglm2

类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间显存不足,需要开启4bit量化才行

1)下载github代码
2)运行web界面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py


3)chatglm2代码下载最新的:https://huggingface.co/THUDM/chatglm2-6b/tree/main
4)配置好参数即可点击开始训练

显卡使用:<

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2023年12月7日
下一篇 2023年12月7日

相关推荐