目标跟踪大统一模型来啦！解决所有主流跟踪任务，8项基准出色！ 来源：机器之心目标跟踪是计算机视觉中的一项基本任务，旨在建立帧间像素级或实例级对应关系，并输出 box 或掩码（mask）形式的轨迹。根据不同应用场景，目标跟踪主要分为四个独立的子任务：单目标跟踪（SOT）、多目标跟踪（MOT）、视频目标分割 (VOS) 、多目标跟踪与分割 (MOTS) 。 大多数目标跟踪方法仅针对其中一个或部分子任务。这种碎片化情况带来以下缺点：（1）跟踪算法过度专注于特定子任务，缺乏泛化能力。(2) 独立模型设计导致参数冗余。 那么，是否能用一个统一的模型来解决所有的主流跟踪任务？ 现在，来自大连理工大学、字节跳动和香港大学的研究者提出了一种统一的方法，称为 Unicorn，它可以使用相同的模型参数通过单个网络同时解决四个跟踪问题（SOT、MOT、VOS、MOTS）。 Unicorn 的统一表现在在所有跟踪任务中采用相同的输入、主干、嵌入和头，首次实现了跟踪网络架构和学习范式的统一。Unicorn 在 8 个跟踪数据集（包括 LaSOT、TrackingNet、MOT17、BDD100K、DAVIS16-17、MOTS20 和 BDD100K MOTS）上的表现与特定任务方法的性能相当或更好。Unicorn 将成为迈向通用视觉模型的坚实一步。研究论文已被接收为 ECCV 2022 oral 。 论文地址：https://arxiv.org/pdf/2207.07078.pdf项目地址：https://github.com/MasterBin-IIAU/Unicorn 先来看一下 Unicorn 的实现效果： 我们再来看一下论文的具体内容。 方法 Unicorn 由三个部分组成：统一输入与主干、统一嵌入、统一头。三个组件分别负责获得强大的视觉表征、建立精确的对应关系和检测不同的跟踪目标。Unicorn 的框架如图 2 所示。给定参考帧 I_ref、当前帧 I_cur 和参考目标，Unicorn 旨在通过统一的网络预测当前帧上跟踪目标的状态，以用于四个任务。 统一输入和主干 为了有效地定位多个潜在目标，Unicorn 将整个图像（参考帧和当前帧）而不是局部搜索区域作为输入。在特征提取过程中，参考帧和当前帧通过权重共享主干获得特征金字塔表示（FPN）。为了在计算对应关系时保持重要细节并减少计算负担，本文选择 stride 为 16 的特征图作为之后嵌入模块的输入。参考帧和当前帧的相应特征分别称为 F_ref 和 F_cur。 统一嵌入 目标跟踪的核心任务是在视频中的帧之间建立准确的对应关系。对于 SOT 和 VOS，逐像素对应将用户提供的目标从参考帧（通常是 1^th 帧）传播到 t^th 帧，为最终的框或掩码预测提供强大的先验信息。此外，对于 MOT 和 MOTS，实例级对应有助于将 t^th 帧上检测到的实例与参考帧（通常是 t-1^th 帧）上的现有轨迹相关联。 统一头 为了实现目标跟踪的大统一，另一个重要且具有挑战性的问题是为四个跟踪任务设计一个统一头。具体而言，MOT 检测特定类别的目标，SOT 需要检测参考帧中给定的任何目标。为了弥补这一差距，Unicorn 向原始检测器头引入了一个额外的输入（称为目标先验）。无需任何进一步修改，Unicorn 就可以通过这个统一的头轻松检测四项任务所需的各种目标。 训练和推理 训练：整个训练过程分为 SOT-MOT 联合训练和 VOS-MOTS 联合训练两个阶段。在第一阶段，使用来自 SOT&MOT 的数据对网络进行端到端优化，包括对应损失和检测损失。在第二阶段，使用来自 VOS&MOTS 的数据在其他参数固定的情况下添加和优化掩码分支，并使用掩码损失进行优化。 推理：在测试阶段，对于 SOT&VOS，参考目标图在第一帧生成一次，并在后续帧中保持固定。Unicorn 直接挑选置信度得分最高的框或掩码作为最终的跟踪结果。此外，Unicorn 只需要运行一次主干和对应，是运行轻量级头而不是运行整个网络 N 次，本文方法效率更高。对于 MOT&MOTS，Unicorn 检测给定类别的所有目标并同时输出相应的实例嵌入。之后的关联分别基于 BDD100K 和 MOT17 的嵌入和运行模型执行。 实验 LaSOT：LaSOT 是一个大规模的长期跟踪基准，测试集中包含 280 个视频，平均长度为 2448 帧。表 1 显示 Unicorn 实现了新的 SOTA 成功率和精度，分别为 68.5% 和 74.1%。值得注意的是，Unicorn 以更简单的网络架构和跟踪策略，大大超过了之前最好的基于全局检测的跟踪器 Siam R-CNN(68.5% vs 64.8%)。 TrackingNet：TrackingNet 是一个大规模的短期跟踪基准，测试集中有 511 个视频。如表 1 所示，Unicorn 以 83.0% 的成功率和 82.2% 的精度超越了所有以前的方法。 MOT17 以行人跟踪为重点，训练集有 7 个序列，测试集也有 7 个序列。从表 2 可以看出，Unicorn 实现了最好的 MOTA 和 IDF1，分别比之前的 SOTA 方法高出 0.5% 和 0.4%。 BDD100K 是一个大规模的视觉驾驶场景数据集，需要跟踪 8 类实例。如表 3 所示，Unicorn 取得了最佳性能，在验证集上大大超过了之前的 SOTA 方法 QDTrack。具体来说，mMOTA 和 mIDF1 的提升分别高达 4.6% 和 3.2%。 DAVIS-16 在验证集中包含 20 个视频，每个序列中只有一个跟踪目标。图 4 表明 Unicorn 在使用边框初始化的方法中取得了最好的结果，甚至超过了使用掩码初始化的 RANet 和 FRTM。 MOTS20 Challenge 在训练集中有 4 个序列，在测试集中有 4 个序列。如表 5 所示，Unicorn 实现了 SOAT 性能，在 sMOTSA 上以 3.3% 的幅度超过了第二好的方法 PoinTrackV2。 BDD100K MOTS Challenge 在验证集中包含 37 个序列。图 6 表明 Unicorn 大大优于先前最佳方法 PCAN（即 mMOTSA +2.2%，mAP +5.5%）。同时，Unicorn 没有像 PCAN 那样使用时空存储器或原型网络等复杂设计，引入了更简单的 pipeline。 推荐阅读 香港理工大学IEEE Fellow 李青教授团队招收机器学习全奖博士/研究助理 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研香港理工大学招收大数据/机器学习博士后/博士生(全年招聘)【全奖博士招生】美国普渡大学数字孪生实验室王子然博士团队自动驾驶与VR方向香港中文大学（深圳）吴保元教授招收全奖博士/博后/访问学生 北京大学智能计算与感知实验室招收硕士/博士/科研实习生【全奖博士】香港大学招收计算机视觉方向博士/博后/研究助理一位博士在华为的22年 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！