知识蒸馏
-
【知识蒸馏】知识蒸馏(Knowledge Distillation)技术详解
参考论文:Knowledge Distillation: A Survey 1.前言 近年来,深度学习在学术界和工业界取得了巨大的成功,根本原因在于其可拓展性和编…
-
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
摘要 知识提炼已经成功地应用于各种任务。当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现。本文表明,教师也可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度出发,我们提…
-
【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher
来自一个更强的教师的知识蒸馏 摘要 不同于现有的知识提取方法侧重于基线设置,其中教师模型和培训策略不如最先进的方法强大和有竞争力,本文提出了一种称为DIST的方法,以从更强的教师中…
-
深度学习机器学习面试题汇——模型优化,轻量化,模型压缩
深度学习机器学习面试题汇——模型优化,轻量化,模型压缩 提示:互联网大厂可能考的面试题 若CNN网络很庞大,在手机上运行效率不高,对应模型压缩方法有了解吗 介绍一下模型压缩常用的方…
-
Generative Data-free Quantization——生成式无数据训练后量化方法
0. 前言 针对深度学习模型的边缘、移动端部署,模型量化已经成为必不可少的压缩手段。一方面,将模型权重量化为低比特,可缓解模型存储的负担(例如INT8量化的理论压缩比为4倍);另一…
-
【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida
Summary 我们提出了一种基于深度神经网络的新型类增量学习方法,该方法在有限的内存中不断学习新任务,以存储先前任务的示例。基于知识蒸馏,我们的算法提供了一种原则性方法来保留旧模…