AI还原的朱元璋、兵马俑来了！杜甫激燃演唱奥特曼主题曲，B站Up主大谷新作 机器之心报道 编辑：张倩、蛋酱朱元璋、林黛玉、兵马俑、杜甫…… 这些历史人物到底长什么样？B 站 up 主「大谷」帮我们用 AI 还原出了一种可能。无论是理科还是文科的同学，想必都对中学历史课本上的「朱元璋」画像印象深刻。这幅画像里的朱元璋长了一张「鞋拔子脸」，只能用帝王特有的「异相」来解释。 然而，在故宫南熏殿所藏的官方正式版历代帝王画像中，朱元璋的长相就正常多了： 朱元璋到底长什么样？其实这个问题一直都有争议。很多人认为，故宫收藏的官方画像似乎更有说服力，因为这两幅画的相貌相似程度和随年龄的演变不容易造假。 虽然画像可以大体还原古人的长相，但总不及照片来得写实、清晰。最近，国内外似乎掀起了一场用 AI 还原古人的潮流，先是有 设计师用 GAN 和 PS 复原了他眼中的古罗马皇帝群像，后有 B 站 up 主「大谷」用 AI 还原中国皇帝朱元璋，还是能动的那种： 居然有点帅是怎么回事？ 此外，大谷此次还复原了林黛玉、徐悲鸿等人的画像以及蒋兆和、黄胄等人经典画作中的人物： 林黛玉。 蒋兆和《老伴》。 徐悲鸿。 黄胄《于阗歌舞图》。 就连博物馆的兵马俑也有了写实的长相： 评论区有人说：「想看秦始皇，以后转账的时候好对比一下。」 前面说到课本，还记得你当年涂过的杜甫吗？作为课本涂鸦界最受欢迎的人物，杜甫也在新一期的视频中出镜了，而且还唱上了奥特曼主题曲《奇迹再现》，有望成为 B 站新一轮鬼畜素材。 大谷在视频中简单介绍了这些成果和他所用的方法（友情提示：不关弹幕可能看不到作品）。或许，我们离哈利波特的魔法世界真的不远了。 修复技术细节 大谷在视频中介绍称，影片的 AI 工作流来自海外博主 Denis Shiryaev 的教程，Denis 曾在 AI Stuff 系列中修复了很多西方经典油画人物，我们可以将其称为「神经网络的艺术」。 比如神秘的蒙娜丽莎： 墨西哥传奇女画家弗里达《戴荆棘和蜂鸟项链的自画像》： 还有《戴珍珠耳环的少女》： 《维纳斯的诞生》： 完整视频如下： Denis Shiryaev 的 youtube 主页：https://www.youtube.com/user/shirman88 Denis 在这一视频中所使用的修复技术有五种，分别是 Face-Image-Motion-Model、StyleGAN2-Face-Modificator、DAIN、ESRGAN 和 Artbreeder。 Face-Image-Motion-Model 项目地址：https://github.com/tg-bomze/Face-Image-Motion-Model 该模型基于「First Order Motion」这一核心模型，方法来源于 NeurIPS 2019 论文《First Order Motion Model for Image Animation》。机器之心此前介绍过的视频会议换脸软件「Avatarify」，也是基于这一技术实现人脸处理的。 论文链接：https://papers.nips.cc/paper/8935-first-order-motion-model-for-image-animation.pdf 「First Order Motion」框架由两个主要模块组成：「运动估计模块」和「图像生成模块」。运动估计模块的目的在于预测密集的运动场，此处假设存在一个抽象的参考坐标，并预估存在「from reference to source」和「from reference to driving」两种转换。因此可以独立处理源帧和驱动帧。做这样的处理是因为模型在测试时会接收从不同视频中采样的源图像帧和驱动帧的组，从视觉上来说可能会很不同。 「First Order Motion」方法概述图。 StyleGAN2-Face-Modificator StyleGAN2-Face-Modificator 项目效果图。 项目地址：https://github.com/tg-bomze/StyleGAN2-Face-Modificator StyleGAN2 是英伟达在 2019 年 12 月开源的高分辨率图像生成方法，相比于前辈「StyleGAN」，它在解决生成图像伪影问题的同时，还能得到细节更好的高质量图像。「StyleGAN2-Face-Modificator」则是基于这一技术开发的人脸编辑器工具。 论文链接：https://arxiv.org/abs/1912.04958 DAIN 项目地址：https://github.com/baowenbo/DAIN DAIN 模型来源于 CVPR 2019 论文《Depth-Aware Video Frame Interpolation》，在这一研究中，上海交通大学、加州大学默塞德分校、谷歌等机构的研究者，针对基于深度学习的视频插帧任务中的常见问题进行了优化，提出了一种利用深度信息检测遮挡的视频帧插值方法。Denis 在多个修复视频中都使用了这一技术。 论文地址：https://arxiv.org/pdf/1904.00830.pdf ESRGAN 项目地址：https://github.com/xinntao/ESRGAN Denis Shiryaev 视频中所用到的分辨率扩增方法为「ESRGAN」，该方法来源于 ECCV 2018 Workshop 论文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》，研究者在 * *SRGAN 的基础上进行了改进，包括改进网络的结构、判别器的判别形式，以及更换了一个用于计算感知域损失的预训练网络，提出了一种 Residual-in-Residual Dense Block (RRDB) 的网络单元。 论文链接：https://arxiv.org/pdf/1809.00219.pdf Artbreeder Artbreeder 是一款在线生成程序，该网站拥有大量不同风格的面部图像，用户可以手动进行调整，将不同的图像混合在一起，生成全新的图像。 近日，设计师 Daniel Voshart 利用 Artbreeder，结合手动调整，修复了 800 张罗马皇帝半身像的照片，在社交网络上引起热议。 网站地址：http://artbreeder.com/ 此外，Denis Shiryaev 还在自己的 YouTube 频道发布了许多修复视频，如果你有兴趣的话，可以在他的网站观看更多作品：https://neural.love/ 注：本文视频素材来自 B 站账户「大谷的游戏创作小屋」，转载已获授权。 Amazon SageMaker 是一项完全托管的服务，可以帮助开发人员和数据科学家快速构建、训练和部署机器学习 模型。SageMaker完全消除了机器学习过程中每个步骤的繁重工作，让开发高质量模型变得更加轻松。 现在，企业开发者可以免费领取1000元服务抵扣券，轻松上手Amazon SageMaker，快速体验5个人工智能应用实例。 ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com