顶刊TPAMI 2024！FreqFusion：无痛涨点，很丝滑！ 作者丨知凡来源丨PaperWeekly编辑丨极市平台大家是不是埋头准备 CVPR 2025 的投稿苦于涨点困难？快来看看热气腾腾的新鲜 TPAMI 2024 论文： 论文链接： https://www.arxiv.org/abs/2408.12879 代码已开源： https://github.com/Linwei-Chen/FreqFusion 在语义分割、目标检测、实例分割、全景分割上都涨点！ 01 这篇论文做了什么？现有的语义分割、目标检测等高层密集识别模型中，往往需要将低分辨高层特征与高分辨率低层特征融合，例如 FPN： 虽然简单，但这样粗糙的特征融合方式显然不够优秀，一方面特征本身对同一类目标的一致性不够高，会出现融合特征值在对象内部快速变化，导致类别内不一致性，另一方面简单的上采样会导致边界模糊，以及融合特征的边界模糊，缺乏精确的高频细节。 02 提出了什么方法？FreqFusion 提出： 为了解决这些问题，作者提出了一种名为 Frequency-Aware Feature Fusion（FreqFusion）的方法。FreqFusion 包括： 自适应低通滤波器（ALPF）生成器： 预测空间变化的低通滤波器，以在上采样过程中减少对象内部的高频成分，降低类别内不一致性。偏移生成器： 通过重采样，用更一致的特征替换大的不一致特征，使得同一类目标特征更稳定一致。自适应高通滤波器（AHPF）生成器： 增强在下采样过程中丢失的高频细节边界信息。用特征图进行分析对比，发现 FreqFusion 各个部分都可以显著提高特征的质量！ 文中给了大量的分析和详细的说明，具体方法可以看原文~ 03 涨点涨了多少？3.1 语义分割semantic segmentation轻量化语义分割 SegNeXt，在 ADE20K 上 +2.4 mIoU（实际 checkpoint，+2.6mIoU） 强大的 Mask2Former 已经在 ADE20K 上取得很好的结果，FreqFusion 还能狠狠进一步讲 Swin-B 提升 +1.4 mIoU（实际给出的 checkpoint，+1.8 mIoU），即便是重型的 Swin-Large，也能提升高 +0.7 mIoU（实际给出的 checkpoint，+0.9 mIoU）。不得不说论文里汇报的结果还是保守了。 3.2 目标检测object detectionFaster RCNN +1.9 AP（实际公开的 checkpoint，+2.0 AP） 3.3 实例分割instance segmentationMask R-CNN，+1.7 box AP，+1.3 mask AP。 3.4 全景分割panoptic segmentationPanopticFCN，+2.5 PQ。 04 如何使用？简单来说，示例如下： m=FreqFusion(hr_channels=64,lr_channels=64) hr_feat=torch.rand(1,64,32,32) lr_feat=torch.rand(1,64,16,16) _,hr_feat,lr_feat=m(hr_feat=hr_feat,lr_feat=lr_feat) FreqFusion 的简洁代码可在此处获得。通过利用它们的频率特性, FreqFusion 能够增强低分辨率和高分辨率特征的质量 (分别称为 和 feat, 假设的大小 是的两倍 Ir_feat )。用法非常简单, 只要模型中存在 这种形式的不同分辨率特征相融合的情况就可以使用 FreqFusion 对模型进行提升涨点。 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！