LLaMA加载时遇见:ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

在加载LLaMA模型时遇到到的问题及解决方法。

1. 问题1


解决方法:找到llama模型中的tokenizer_config.json文件,把“tokenizer_class”对应的“LLaMATokenizer”改为“LlamaTokenizer”。

2. 问题2

在解决问题1后,继续运行可能会遇到下面的问题:

解决方法:!pip install transformers[sentencepiece]

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2023年12月8日
下一篇 2023年12月8日

相关推荐