ECCV2022 Oral｜ 最强自动着色算法，无需前置条件 作者丨白乌鸦@知乎 （已授权）来源丨https://zhuanlan.zhihu.com/p/540726540编辑丨极市平台导读 本文将介绍一个无需前置条件即可自动着色的算法，实现了目前最好的着色效果，性能在所有指标上打败了标准的CNN colorization方法以及Google在ICLR2021提出的方法。论文过段时间会挂到实验室主页上，代码很快也会开源。实验室主页：https://ci.idm.pku.edu.cn/模型介绍我们造了一个自动着色的Transformer模型，以color tokens作为辅助，实现了目前最好的着色效果。这里说的color tokens来自于经典工作《colorful image colorization》（CIC）中量化ab color space的思路，我们将每个格子都当做一个token，借助position embedding得到格子之间的位置关系，从而获得color token的颜色相对关系（离得远的色差大，否则小），从而设计一系列模块来引导color token监督着色。这里可视化一下我们的Pipeline，可以看到基本上不需要对transformer结构做太多魔改，只需要依靠我们设计的Luminance-selecting module, Color Attention和Color query等模块，依靠ab color space中颜色分布的先验知识，就可以实现好的着色性能。我们的模型不需要任何前置条件（例如目标检测主要着色物体，或者先用inversion GAN生成个参考图像），就能生成正确颜色语义和丰富饱和度的图像。因为没有前置条件的需求，所以使用场景更广（例如不受限于检测器可以检测的目标的类别，以及GAN可以生成的图像的类别）。实验结果下面是我们的分数和user study，我们对比了标准的CNN colorization方法，以及Google在ICLR2021提出的第一个colorization transformer，最终性能在所有指标上都打过了他们；我们额外比较了一些热门的图像修复算法，但显然专门为colorization设计的算法性能更优；我们还比较了著名的预训练模型MAE，并把colorization当做他的一个下游任务来finetune，但他在这个任务上看起来也不是很聪明的样子。下面展示一些修复老照片的结果然后是一些灰白图像上色的结果 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研香港理工大学招收大数据/机器学习博士后/博士生(全年招聘)【全奖博士招生】美国普渡大学数字孪生实验室王子然博士团队自动驾驶与VR方向香港中文大学（深圳）吴保元教授招收全奖博士/博后/访问学生 北京大学智能计算与感知实验室招收硕士/博士/科研实习生【全奖博士】香港大学招收计算机视觉方向博士/博后/研究助理一位博士在华为的22年 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎加入DLer-顶会论文分享交流群！ 大家好，这是顶会论文分享群里，群里会第一时间发布CVPR、ECCV、ICCV、NIPS、AAAI、ICML、ICLR的论文解读和交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！