论文阅读
CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION
NC-WAMKD: Neighborhood Correction Weight-adaptive Multi-teacher Knowledge Distillation For Graph-based Semi-supervised Node Classification

• 设计实现多层级通道划分局部特征，并进行多层级蒸馏，添加hint特征蒸馏。
• 设计多教师蒸馏权重，根据不同教师的CE损失大小计算每个教师的权重。
• 设计针对hint的多教师蒸馏权重，将局部特征映射到教师特征同等大小，用教师的分类层分类后计算CE损失并得到教师的权重。
• 设计基于图卷积的特征聚合方法，来对每个按通道划分的局部特征信息进行汇聚

问题分析

• 经过多次实验，多层级蒸馏的思想并不能有效提升性能。全局蒸馏两个局部的性能不如，全局和两个局部作为三个教师，进行多教师自适应权重蒸馏四个局部的性能。
• 在局部划分上，实现了一个可解释性较高的方法，即使用图卷积的思路。但目前实验还不够多，有时候会产生nan值，这是因为图卷积过程中近邻边矩阵标准化时，tensor可能出现的负值产生的。
  针对该问题的解决方法有两个，一个是图卷积计算前使用ReLU，一个是使用pytorch自带的函数，将复制替换为极小的正数。

下一步

下一步的研究计算有两条思路：

• 继续巩固图卷积划分局部的方法，探索图卷积次数对局部划分的影响，以及作为全局节点汇聚空间信息的tensor值初始化方法不同的影响。
• 多教师的教师自适应权重感觉比较有意思，其实现方法可以参考这周看的两篇论文。