TypechoJoeTheme

鱼一的博客 ◡̈

yuyi

知不可乎骤得，托遗响于悲风
网站页面
类目归类
标签搜索
搜索到 2 篇与 的结果
2023-01-10

科研流水账82
科研流水账82
修改模型代码，添加基于标准差的损失自适应。修损失自适应函数的代码，将其每轮训练调整的损失大小控制在一个较小的范围。修改损失的权重，让局部的交叉熵和蒸馏损失权重平衡。修改可视化局部特征的代码。实现T-sne图展示baseline和使用我们模型后的特征效果图。实现T-sne图展示使用divers损失前后的局部特征分布情况。问题分析在实验过程中发现，基于标准差的损失自适应不适应我们模型的情况因为局部交叉熵损失和蒸馏损失的量级不一样，交叉熵损失大概2左右，而蒸馏损失0.018左右。因此实验过程中，交叉熵的权重会很快被调的很小。经过很多尝试，还是没有找到可视化局部热力图的方法画t-sne图的时候，有的类别看起来很近经过代码设计，实现可筛选的类别展示。下一步-首先得确定最好的效果模型，然后接着需要考虑加divers前后损失的变化是否理想。-热力图暂时还没解决。
2023-01-10
2023年01月10日
0 阅读
0 评论
yuyi
知不可乎骤得，托遗响于悲风
126 文章数
6 评论量

More Info for me 📱

IP信息

人生倒计时

今日已经过去小时
这周已经过去天
本月已经过去天
今年已经过去个月
2019 - 2020 © Reach - Joe
JOE RSS MAP