在 Pytorch 中设置恒定的学习率

乘风 2年前 pytorch 428

原文标题 ：Setting constant learning rates in Pytorch

我正在使用 Adam 优化器使用 pytorch 优化 lstm 网络。我感觉我的学习率下降得太快了，但我什至不能 100% 确定 Adam 是否这样做，因为我找不到好的文档。如果 Adam 默认衰减学习率，有没有办法将其关闭并设置一个恒定的学习率？

原文链接：https://stackoverflow.com//questions/71461240/setting-constant-learning-rates-in-pytorch

回复

我来回复

ForceBru 评论

“我找不到好的文档” – 例如，您可以阅读原始论文。另外，文档在这里：https://pytorch.org/docs/stable/generated/torch.optim.Adam.html。

如果“学习率”是指torch.optim.Adam的lr参数，那么它保持不变——Adam 本身不会修改它，与学习率调度程序相反。但是，Adam 对梯度应用了额外的缩放，因此学习率被应用于梯度的这种变换，而不是梯度本身。这不能关闭，因为这是算法的本质。如果您想将学习率直接应用于梯度，请使用随机梯度下降。

2年前 0条评论