知识蒸馏
-
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
参考论文：Knowledge Distillation: A Survey 1.前言 近年来，深度学习在学术界和工业界取得了巨大的成功，根本原因在于其可拓展性和编…
-
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
摘要 知识提炼已经成功地应用于各种任务。当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现。本文表明，教师也可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度出发，我们提…
-
【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher
来自一个更强的教师的知识蒸馏 摘要 不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中…
-
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩 提示：互联网大厂可能考的面试题 若CNN网络很庞大，在手机上运行效率不高，对应模型压缩方法有了解吗 介绍一下模型压缩常用的方…
-
Generative Data-free Quantization——生成式无数据训练后量化方法
0. 前言 针对深度学习模型的边缘、移动端部署，模型量化已经成为必不可少的压缩手段。一方面，将模型权重量化为低比特，可缓解模型存储的负担（例如INT8量化的理论压缩比为4倍）；另一…
-
【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida
Summary 我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新任务，以存储先前任务的示例。基于知识蒸馏，我们的算法提供了一种原则性方法来保留旧模…
