yuyi
知不可乎骤得，托遗响于悲风
科研流水账82
- 修改模型代码，添加基于标准差的损失自适应。
- 修损失自适应函数的代码，将其每轮训练调整的损失大小控制在一个较小的范围。
- 修改损失的权重，让局部的交叉熵和蒸馏损失权重平衡。
- 修改可视化局部特征的代码。
- 实现T-sne图展示baseline和使用我们模型后的特征效果图。
- 实现T-sne图展示使用divers损失前后的局部特征分布情况。
问题分析
- 在实验过程中发现，基于标准差的损失自适应不适应我们模型的情况
因为局部交叉熵损失和蒸馏损失的量级不一样，交叉熵损失大概2左右，而蒸馏损失0.018左右。因此实验过程中，交叉熵的权重会很快被调的很小。 - 经过很多尝试，还是没有找到可视化局部热力图的方法
- 画t-sne图的时候，有的类别看起来很近
经过代码设计，实现可筛选的类别展示。
下一步
-首先得确定最好的效果模型，然后接着需要考虑加divers前后损失的变化是否理想。
-热力图暂时还没解决。
