1.蒸馏 KD 与 自蒸馏 SD
普通蒸馏，是有监督（软标签），老师是外部预训练的大模型
自蒸馏，无监督，老师是 自己的历史版本EMA
2.EMA机制
有一个问题，如果学生和老师输出的内容是一致的，那学生什么也学不到。所以
老师网络的参数 = 0.996*老师旧参数 + 0.004*学生参数，这样老师也能在不断的学习，又不会因为学生某次的剧烈波动过大的影响老师
3.输入数据策略
多视角增强，随机裁剪，旋转，变换颜色
老师为大视角，做好分类
学生为小视角，自己学习细节特征，但又能从老师那里学到全局语义
4.稳定机制（防止特征塌陷）
1.中心化处理（centering）
老师的数据h_i = h_i - 历史平均
在没有中心化处理时。模型输出的判断倾向与“有点像猫、狗”。所以输出集中在[0.6,0.6]附近，这样就可能后续造成特征塌陷
如果中心话处理，输出可能被调整为[0.05,0.05]和[-0.05,-0.05]，强制去偏向一边
2.温度调节
结果：老师输出的很尖锐，例如[0.1, 0.8, 0.1]
学生输出比较平滑，学习更丰富，细腻的特征
gram锚定
在增加训练数据后，虽然在分类等任务上一直在改进，但是在密集型特征任务上就退化
使用gram矩阵：描述一张图片内部所以图像块特征之间的关系网（预先相似度）
锚定过程：保存一个训练早期，密集特征还不错的模型作为gram老师。然后后面要求，学生的gram和老师的gram要尽量一致
综合的损失
反向传播更新学生，EMA更新老师