LLM-LLaMA:手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式;Step 2: 合并LoRA权重,生成全量模型权重】

准备工作

  1. 运行前确保拉取仓库最新版代码:git pull
  2. 确保机器有足够的内存加载完整模型(例如7B模型需要13-15G)以进行合并模型操作。
  3. 务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.modeltokenizer_checklist.chkconsolidated.*.pthparams.json
  4. 主要依赖库如下(python>=3.9),请安装指定版本,否则合并后无法比对SHA256校验值
pip install torch==1.13.1
pip install transformers==4.28.1
pip install sentencepiece==0.1.97
pip install peft==0.3.0

注意:经过多方比对,HuggingFace模型库中的elinas/llama-7b-hf-transformers-4.29与原版llama模型离线转换为HF格式后的SHA256一致(已验证7B/13B/33B)。如果你要使用,则应确保满足相应使用许可,我们不对其合规性做出任何保证(use at your own risk)。

版权声明:本文为博主作者:u013250861原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/u013250861/article/details/131387468

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2023年12月29日
下一篇 2023年12月29日

相关推荐