TypechoJoeTheme

鱼一的博客 ◡̈

yuyi

知不可乎骤得，托遗响于悲风
网站页面
类目归类
标签搜索

最新文章

DeepSeek
2023-12-30

科研流水账81
科研流水账81
修改模型，复现了之前的图卷积加蒸馏的最好性能，保证进一步修改是在最好性能上的。修改之前损失加和的方式。下载原UFDN代码，对模型和损失修改后复现最好性能。尝试可视化局部特征的注意力。只使用图卷积图卷积＋蒸馏修改损失加和方式去掉了基于损失全局局部CE损失对比的自适应权重局部与全局分类软标签蒸馏的KL散度损失和局部与真实值CE损失之间权重从0.5：0.5改回1:1去掉蒸馏之后的实验结果问题分析在进行热力图可视化绘图时的问题由于按通道划分后直接使用了图卷积，由于图卷积计算需要，局部特征的张量变形为三个维度，空间上的宽高被取消了。因此之前的可视化方法没法直接使用。经过网上查看资料修改代码后实现了对局部特征的可视化，但目前还需要继续完善。下一步首先对局部进行可视化，根据可视化结果好坏决定是否对divers损失进一步修改。修改代码为使其在其它数据集上运行进行消融实验。
2023-12-30
2023年12月30日
0 阅读
0 评论
2023-12-22

科研流水账80
科研流水账80
论文阅读Diversified branch fusion for self-knowledge distillation参考论文中的动态logits融合的方案对全局局部蒸馏进行改造。使用推理时cat全局局部的方式融合全局局部特征为一支加在训练阶段。对图卷积中图节点构成边的过程进行实验，其原始为保留所有边。将图卷积直接加到之前性能最好的模型里。使用论文logits融合的方法同时使用标签对融合后的logits分类进行指导Cat全局和局部为一支加入训练图节点生成边矩阵时阈值为0.5-0.6使用原始图节点生成矩阵问题分析多Logits融合的方法第一次实验时忘记使用标签的对融合后logits的分类进行指导。第二次实验加上指导后性能反而更差了。这可能是损失权重没有平衡好的原因。下一步一方面继续对多logits融合进行实验，因为目前实验结果来看这个对性能可能更有价值。可以考虑将之前自己设计的CE损失权重加上去。另一方面尝试复现单独使用图卷积后达到82.0左右的性能。
2023-12-22
2023年12月22日
0 阅读
0 评论
2023-12-18

科研流水账79
科研流水账79
设计了基于样本分类损失大小的自适应蒸馏权重。思考并设计了基于Triplet loss中样本的正负距离来计算权重损失。使用原本的Hint损失来进行蒸馏。设计基于局部和全局注意力蒸馏的模型，以及不同局部之间注意力的熵增损失。设计了局部和全局注意力融合的方法，尝试对全局加强。问题分析性能一直不好很多想法感觉上可能合理，但是实现后性能一直上不去。可能是使用了图卷积进行汇聚信息的原因，模型变得更复杂，在全局和局部支尝试的一些交互最后结果都不太理想。下一步下一步计划在基于图卷积的目前最好性能上进行修改，并考虑蒸馏以外的创新点进行实验。
2023-12-18
2023年12月18日
0 阅读
1 评论
2023-12-10

科研流水账78
科研流水账78
论文阅读CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATIONNC-WAMKD: Neighborhood Correction Weight-adaptive Multi-teacher Knowledge Distillation For Graph-based Semi-supervised Node Classification设计实现多层级通道划分局部特征，并进行多层级蒸馏，添加hint特征蒸馏。设计多教师蒸馏权重，根据不同教师的CE损失大小计算每个教师的权重。设计针对hint的多教师蒸馏权重，将局部特征映射到教师特征同等大小，用教师的分类层分类后计算CE损失并得到教师的权重。设计基于图卷积的特征聚合方法，来对每个按通道划分的局部特征信息进行汇聚问题分析经过多次实验，多层级蒸馏的思想并不能有效提升性能。全局蒸馏两个局部的性能不如，全局和两个局部作为三个教师，进行多教师自适应权重蒸馏四个局部的性能。在局部划分上，实现了一个可解释性较高的方法，即使用图卷积的思路。但目前实验还不够多，有时候会产生nan值，这是因为图卷积过程...
2023-12-10
2023年12月10日
0 阅读
0 评论
2023-12-03

科研流水账77
科研流水账77
将全局特征与mask语义信息相乘并对局部进行指导。不使用mask蒸馏，只使用四个局部和全局特征进行训练。只使用通道划分局部的方式构建模型训练。使用层级通道划分局部并蒸馏的方式构建模型训练。探索关于不同局部自注意力以及相互之间交互的模块设计。Mask蒸馏无蒸馏只有四个局部，骨干网络不分支问题分析Mask得到的局部其分类不一定准确，用其产生的交叉熵指导按通道划分的局部，可能会误导其分类结果，最终导致性能下降。下一步研究计划探索更有效的注意力机制，用于按通道划分的局部。最好解释时能和局部的聚类损失相关联。
2023-12-03
2023年12月03日
0 阅读
0 评论
2023-11-18

科研流水账75
科研流水账75
完成实验部分除与其他方法模型性能对比之外的写作。找最近重识别的论文，并完成相关工作部分的写作。根据320个样本，分8个类别。画T-SNE图。关于热力图的实验，对局部特征加上UFDN 中的损失约束。下一步继续写作，完成实验部分中的和其他方法对比的内容写作。继续调整代码，尽量多做点可解释性强且精美的图出来。
2023-11-18
2023年11月18日
0 阅读
0 评论
2023-11-06

最大堆or最小堆
最大堆or最小堆
在C++标准库中，std::priority_queue默认是一个最大堆，它使用std::less作为其比较函数，这意味着元素总是以非递增的顺序排序。如果你想实现一个最小堆，你可以通过指定一个不同的比较函数来实现，即使用std::greater。以下是如何使用std::priority_queue来实现最大堆和最小堆的示例代码：最大堆最大堆已经是std::priority_queue的默认行为。如果你要创建一个存储Node结构的最大堆，你可以像你已经做的那样直接使用它：#include <iostream> #include <queue> #include <vector> struct Node { int value; int idx; Node (int v, int i): value(v), idx(i) {} }; // 使得 priority_queue 默认的比较行为成为最大堆 bool operator < (const Node &n1, const Node &n2) {...
2023-11-06
2023年11月06日
0 阅读
0 评论
2023-11-05

科研流水账73
科研流水账73
画各种图。完成方法中文的大致写作。翻译和改写中文内容。不同骨干网络的结果不适合画CMC图一方面这个CMC图纵坐标画范围设置有点问题。另一方面，因为使用的是 resnet50, resnet101, resnet50_ibn, resnet101_ibn, 最终性能结果差距不大，所以画出来的曲线很接近，相互交错。后续考虑使用添加几个更轻量级网络的实验，并画出其曲线下一步目前论文英文部分写作进度，四分之一。争取周日前完成方法部分英文写作，下周尽量完成实验部分内容。继续调整代码画好图。
2023-11-05
2023年11月05日
0 阅读
1 评论
yuyi
知不可乎骤得，托遗响于悲风
128 文章数
17,471 评论量

More Info for me 📱

IP信息

人生倒计时

今日已经过去小时
这周已经过去天
本月已经过去天
今年已经过去个月
2024 - 2025 @ Go UP! ⬆️
YuY RSS MAP