TypechoJoeTheme

鱼一的博客 ◡̈

yuyi

知不可乎骤得，托遗响于悲风
网站页面
类目归类
标签搜索
搜索到 92 篇与 的结果
2023-12-18

科研流水账79
科研流水账79
设计了基于样本分类损失大小的自适应蒸馏权重。思考并设计了基于Triplet loss中样本的正负距离来计算权重损失。使用原本的Hint损失来进行蒸馏。设计基于局部和全局注意力蒸馏的模型，以及不同局部之间注意力的熵增损失。设计了局部和全局注意力融合的方法，尝试对全局加强。问题分析性能一直不好很多想法感觉上可能合理，但是实现后性能一直上不去。可能是使用了图卷积进行汇聚信息的原因，模型变得更复杂，在全局和局部支尝试的一些交互最后结果都不太理想。下一步下一步计划在基于图卷积的目前最好性能上进行修改，并考虑蒸馏以外的创新点进行实验。
2023-12-18
2023年12月18日
0 阅读
0 评论
2023-12-10

科研流水账78
科研流水账78
论文阅读CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATIONNC-WAMKD: Neighborhood Correction Weight-adaptive Multi-teacher Knowledge Distillation For Graph-based Semi-supervised Node Classification设计实现多层级通道划分局部特征，并进行多层级蒸馏，添加hint特征蒸馏。设计多教师蒸馏权重，根据不同教师的CE损失大小计算每个教师的权重。设计针对hint的多教师蒸馏权重，将局部特征映射到教师特征同等大小，用教师的分类层分类后计算CE损失并得到教师的权重。设计基于图卷积的特征聚合方法，来对每个按通道划分的局部特征信息进行汇聚问题分析经过多次实验，多层级蒸馏的思想并不能有效提升性能。全局蒸馏两个局部的性能不如，全局和两个局部作为三个教师，进行多教师自适应权重蒸馏四个局部的性能。在局部划分上，实现了一个可解释性较高的方法，即使用图卷积的思路。但目前实验还不够多，有时候会产生nan值，这是因为图卷积过程...
2023-12-10
2023年12月10日
0 阅读
0 评论
2023-12-03

科研流水账77
科研流水账77
将全局特征与mask语义信息相乘并对局部进行指导。不使用mask蒸馏，只使用四个局部和全局特征进行训练。只使用通道划分局部的方式构建模型训练。使用层级通道划分局部并蒸馏的方式构建模型训练。探索关于不同局部自注意力以及相互之间交互的模块设计。Mask蒸馏无蒸馏只有四个局部，骨干网络不分支问题分析Mask得到的局部其分类不一定准确，用其产生的交叉熵指导按通道划分的局部，可能会误导其分类结果，最终导致性能下降。下一步研究计划探索更有效的注意力机制，用于按通道划分的局部。最好解释时能和局部的聚类损失相关联。
2023-12-03
2023年12月03日
0 阅读
0 评论
2023-11-18

科研流水账75
科研流水账75
完成实验部分除与其他方法模型性能对比之外的写作。找最近重识别的论文，并完成相关工作部分的写作。根据320个样本，分8个类别。画T-SNE图。关于热力图的实验，对局部特征加上UFDN 中的损失约束。下一步继续写作，完成实验部分中的和其他方法对比的内容写作。继续调整代码，尽量多做点可解释性强且精美的图出来。
2023-11-18
2023年11月18日
0 阅读
0 评论
2023-11-05

科研流水账73
科研流水账73
画各种图。完成方法中文的大致写作。翻译和改写中文内容。不同骨干网络的结果不适合画CMC图一方面这个CMC图纵坐标画范围设置有点问题。另一方面，因为使用的是 resnet50, resnet101, resnet50_ibn, resnet101_ibn, 最终性能结果差距不大，所以画出来的曲线很接近，相互交错。后续考虑使用添加几个更轻量级网络的实验，并画出其曲线下一步目前论文英文部分写作进度，四分之一。争取周日前完成方法部分英文写作，下周尽量完成实验部分内容。继续调整代码画好图。
2023-11-05
2023年11月05日
0 阅读
0 评论
2023-10-28

科研流水账72
科研流水账72
构思并设计模型UFDN的Motivation图。学习并绘制PCA特征分布图。绘制损失下降曲线。问题分析求损失下降时，一开始直接每次迭代损失画图，生成图像有问题后面对每个 epoch 里的损失求平均，然后使用这个均值来绘图。下一步计划把不同骨干网络的实验结果跑出来，绘图。把其它图都画出来。论文方法部分尽量写。
2023-10-28
2023年10月28日
0 阅读
0 评论
2023-10-21

科研流水账71
科研流水账71
本周干活杂记构思并设计改进后UFDN模型的图。找富士康工业智能专利，送审专利申请、版面费及劳务费报销单。配合服务器机房王老师，协查服务器风扇。问题分析热力图和重识别结果图需要从之前pven项目中把热力图和重识别结果图代码从迁移过来，目前正在解决一些依赖包版本不一致的问题。下一步这些图还有一些细节需要后面再做调整和完善，下一步的打算还是先把热力图和重识别结果图先做出来。
2023-10-21
2023年10月21日
0 阅读
0 评论
2023-10-15

科研流水账70
科研流水账70
对确定好的UFDN模型进行蒸馏损失函数的消融实验。对骨干网络共享权重层数进行消融实验。调整vehicleID上的超参数进行实验以期望获得较好的模型性能。写边缘设备和工业缺陷检测的相关内容。骨干网共享参数层数的消融实验共享层数mAPmINPCMC@1CMC@5080.4%44.2%95.6%98.4%181.5%46.2%96.8%98.7%283.5%49.5%97.3%98.6%383.4%49.7%97.3%98.7%483.2%50.0%96.8%98.6%空间注意力的消融实验方法mAPmINPCMC@1CMC@5全局和局部融合83.5%49.5%97.3%98.6%平均池化83.3%49.0%97.4%98.9%最大池化83.0%48.8%97.0%98.7%平均池化和最大池化83.2%48.7%97.1%98.5%空间卷积83.5%49.5%97.3%98.6%关于motivation的构图还没思考好准备先把简单的图做出来，比如骨干网络，几个创新点的图等等
2023-10-15
2023年10月15日
0 阅读
0 评论
yuyi
知不可乎骤得，托遗响于悲风
126 文章数
6 评论量

More Info for me 📱

IP信息

人生倒计时

今日已经过去小时
这周已经过去天
本月已经过去天
今年已经过去个月
2019 - 2020 © Reach - Joe
JOE RSS MAP