一键修复女神林青霞旧照，背后用到了哪些AI技术？ 整理 & 编辑｜Debra AI 前线导读：近日，第四届 NTIRE（New Trends in Image Restoration and Enhancement workshop and challenges）比赛结果公布，美图影像实验室 MTlab 在图像增强赛道（Image Enhancement Challenge）中斩获冠军，同时夺得图像去雾赛道（Image Dehazing Challenge）的季军，两个赛道均有超过 200 支团队报名。据悉，NTIRE 是目前规模最大、水平最高的图像恢复与增强的研讨会和比赛，吸引了众多国内外顶尖大学、研究机构和公司参加。 美图此次夺得冠、季军的图像增强和去雾技术很容易让人联想到最近大火的 AI 图像修复小程序“你我当年”。这个小程序使用的核心技术和美图获奖的技术是否有异曲同工之妙？AI 前线专门采访了美图技术人员，为大家解读这些神奇的图像修复技术背后的原理。 更多干货内容请关注微信公众号“AI 前线”（ID：ai-front） 图像增强和去雾背后的技术 图像增强 是指让算法处理之后的图像拥有更好的视觉效果，例如让普通手机拍摄的照片拥有接近单反照片的质感。 （使用图像增强技术前后对比图） 本次图像增强赛道采用了 MOS（mean opinion score）这个反映人主观评价的指标作为增强效果的主要评价标准，美图的 MOS 的得分为 2.784，是唯一一个 MOS 分数高于 2.6 的队伍。MTlab 的研究人员通过对图像美感建模，使得算法增强后的图像在视觉上更符合人的感知，AI 前线向美图技术人员了解了图像增强背后的具体技术： 在图像增强赛道，我们算法基于深度卷积神经网络技术，其中，网络结构设计是非常关键的一个步骤。我们最后夺冠使用的网络结构借鉴了 HRNet 的思想，可以同时抽取出具有 high-resolution 和 high-level 特性的特征，实验结果证明这些特征非常适合图像增强这个任务。设计损失函数是提升增强算法效果的另一个关键的步骤， 考虑到本次增强比赛采用 MOS 分数作为增强算法效果的衡量标准，我们在损失函数的设计上不仅使用了 L1，SSIM 和 TV 等传统损失函数，而且使用了 GAN 和 Perceptual-Loss 等和人的感知相关的损失函数。 （使用去雾技术前后对比图） 在图像去雾比赛中，参赛团队则需要从浓雾遮挡的画面中恢复出原有的图像内容，MTlab 在经典去雾模型的基础上，通过对抗生成网络（GAN）等方法有效还原图像的原始内容并获得季军，PSNR 分数为 19.46dB。美图技术人员解释了去雾技术背后的技术： 在图像去雾赛道，我们的网络模型设计更加侧重于对于图片全局信息的抽取，在网络中专门添加了用于抽取全局特征的模块。另外，由于去雾数据非常难以获得，本次比赛组织方提供的数据集比较小。为了扩充数据，我们训练了一个向图片中添加雾的网络，生成了更多的训练数据，从而极大的提升了去雾网络的最终效果。 美图影像实验室 MTlab 是美图公司的核心算法研发部门，专注于计算机视觉、深度学习、增强现实等领域，聚焦图像画质提升，包括图像增强、去噪去雾、超分辨率、HDR 等关键技术，在 MTlab 成立的 9 年间，美图自主研发的 AI 算法已落地到了众多产品功能中，如 BeautyCam 美颜相机超清人像、美图秀秀绘画机器人及动漫化身、美图手机超级夜景、美图魔镜虚拟试妆等，而此次比赛获冠、季军的图像增强和去雾技术等相关技术已经上线于美图开放平台（ai.meitu.com）。 和最近爆火的小程序“你我当年”AI 修复术有何异同？美图的图像增强和去雾技术很容易让人联想到最近很火的“你我当年”小程序，据网友反映，这个小程序经过 AI 处理，可以把老旧照片的清晰度大大提高。 只不过，这个小程序也有缺点，就是处理时间较长，处理一张图片大约需要 7 个小时，但是手机能够正常使用。现在，这个小程序现在依然火爆，AI 前线试用了一下，发现已经有 2239 人在排队，需要等待 4 万多小时...... 据天眼查信息显示，“你我当年”小程序背后是一家名不见经传的公司，名为北京大觥科技有限公司，经营范围包括技术开发、技术转让、软件开发等。而这个小程序的核心技术，据说 PS 就能做到，但过程会很复杂。那么，这和美图此次获奖的图像增强或去雾技术是否有相似之处呢？ 美图技术人员表示，“你我当年”小程序的 AI 老照片修复与美图此次比赛获奖的技术的相似之处在于两个技术都是基于 AI 算法且都是数据驱动的。不同之处在于美图的算法更多的是考虑用户自然环境下人像自拍的画质提升，而“你我当年”是更多专注于质量比较低下的老照片修复 。 另外，AI 技术处理这些老旧图像的难度有多大？对照片的质量要求有多高？超过一定时间期限的图像是不是无法恢复？ 对此，美图表示，几乎可以肯定的是，老旧照片修复这个问题需要用到数据驱动的深度学习算法。因此，什么样的照片能进行修复很大程度上取决于深度学习模型的训练数据，同时配合针对不同任务的算法调整。 除了老旧图像之外，老旧、模糊视频的复原也有很大需求。美图表示，图像和视频的恢复和增强一直是美图的研发重点，例如在美图 AI 开放平台上开放了画质增强 SDK，另外美颜相机超清人像功能也是其自主研发的数据驱动的全新 AI 美颜算法。 关于视频画质的提升，美图主要在做两方面的工作，第一是从视频采集的源头出发来提升视频的画质，主要包括视频编解码方面的工作，并已经落地到美图的产品中。第二是通过后处理来提升视频的画质，视频去噪、增强等算法也已经落地到产品，例如美拍当中。关于模糊视频的修复算法，美图目前也正在研发。 公布美图 AI 开放平台，开放 AI 能力 值得一提的是，在近期召开的 VALSE2019 视觉与学习青年学者研讨会上，美图影像实验室 MTlab 对外正式发布了“美图 AI 开放平台”（ai.meitu.com），进一步开放其技术能力，为线上线下各行业提供经过市场检验的专业 AI 服务。 美图技术人员透露，目前美图 AI 开放平台开放了人脸技术、人体技术、图像识别、图像处理、图像生成等几大类核心 AI 技术。这些技术可通过云端 API/ 移动端 SDK/ 定制解决方案等多种方式对外提供经过市场验证的专业 AI 算法服务。 你也「在看」吗？??