【Linear Probing | 线性探测】深度学习 线性层

【Linear Probing | 线性探测】深度学习 线性层

1. 作用

自监督模型评测方法
是测试预训练模型性能的一种方法,又称为linear probing evaluation

2. 原理

训练后,要评价模型的好坏,通过将最后的一层替换成线性层。
预训练模型的表征层的特征固定,参数固化后未发生改变,只通过监督数据去训练分类器(通常是Softmax分类器或者SVM分类器等等)。
只训练这个线性层就是linear probe。

3. 出处

何恺明MAE
https://zhuanlan.zhihu.com/p/432614068

4. 参考

https://blog.csdn.net/LoseInVain/article/details/103870157
https://blog.csdn.net/qq_23981335/article/details/122576120

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2023年9月21日
下一篇 2023年9月21日

相关推荐