Distilling the Knowledge in a Neural Network(KD) 知识蒸馏的开山之作 网上精读太多了，不写了 SoundNet: Learning Sound Representations from Unlabeled Video 2016、CCF-A 摘要 这篇讲的是在不同模态之间做知识的转移，即：已有模态1（如图像）训练好的模型，和未经训练的模态2（如音频）的模型。在使用大量无标签的视频数据，即可使用模型1作为Teacher为模型2蒸馏从而进行知识的迁移。这种蒸馏主要用于模态1的打标的数据集充足，而模态2的打标的数据集难以获取。这样，使用二者结合（如视频）...