[论文阅读] Revisiting Knowledge Distillation: An Inheritance and Exploration Framework
发布于 2023-03-08
原文 Abstract 知识蒸馏（KD）是一种流行的技术，以转移知识从教师模型或集合到学生模型。它的成功通常归因于关于教师模型和学 …
[自监督知识蒸馏]Refifine Myself by Teaching Myself :Feature Refifinement via Self-Knowledge Distillation
发布于 2023-03-06
预备知识 BIFPN 参考链接：Bi FPN – 知乎 (zhihu.com) 随着网络层数的加深，网络的感受野逐渐变大，语义表达 ̷
