模型加载至 cpu 和 gpu 的方式

  1. 采用 from_pretrained 的方式,模型正常情况下,BertMoldel.from_pretrained() 是会 load 在 cpu 上的,内部 map_location 默认设置成 cpu,如果想要部署在gpu,执行下面三句话。

BertMoldel.from_pretrained()
device=torch.device(’cuda’)
model.to(device) 
  1. 采用 load_state_dict 的方式加载模型,模型是部署在 哪里可以指定,如果想部署到 gpu,无需修改第一行,直接再加入4.5行。

state_dict=torch.load(model_path, map_location=’cpu’)
#部署到 gpu,把上面改为map_location=’gpu’
model.load_state_dict(state_dict)
#已在CPU上加载,下面两句也可加入GPU
device=torch.device(’cuda’)
model.to(device) 

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2023年7月6日
下一篇 2023年7月6日

相关推荐