yuyi
知不可乎骤得，托遗响于悲风
科研流水账79
- 设计了基于样本分类损失大小的自适应蒸馏权重。
- 思考并设计了基于Triplet loss中样本的正负距离来计算权重损失。
- 使用原本的Hint损失来进行蒸馏。
- 设计基于局部和全局注意力蒸馏的模型，以及不同局部之间注意力的熵增损失。
- 设计了局部和全局注意力融合的方法，尝试对全局加强。
问题分析
- 性能一直不好
很多想法感觉上可能合理，但是实现后性能一直上不去。可能是使用了图卷积进行汇聚信息的原因，模型变得更复杂，在全局和局部支尝试的一些交互最后结果都不太理想。
下一步
下一步计划在基于图卷积的目前最好性能上进行修改，并考虑蒸馏以外的创新点进行实验。
