Deepfake让罗伯特·德尼罗用流利的德语表演台词！差点忘了他是美国人 转自：量子位 当电影用另一种语言配音时，演员的面部动作、口型在新的语言下会非常违和。 不信你看，当章子怡的《卧虎藏龙》被配音成英语后： 观看起来是不是非常奇怪？ 现在，最新的技术可以帮大家免除这种“尴尬”： 使用Deepfake来操纵演员的嘴唇和面部表情，使之匹配新语言配音。效果非常逼真！从口型看起来就像演员刚刚学会了一门外语，然后重新拍了一版一样。 影帝罗伯特·德尼罗在《双面劫匪》里有模有样地“说”起了德语： 德语、日语、西班牙语的《阿甘正传》： 如果你没看过这两部电影，会怀疑它们其实都不是原声吗？ Deepfake的“用武之地”又多一个事情是这样的，电影《双面劫匪》的导演在看了它的外国版后非常震惊，表示与人物口型对不上的配音毁了电影里不少精心制作的场景。 要知道，在对电影进行其他语言版本的配音时，为了使对话更接近演员的唇部动作，有时甚至会大幅改变人物对话。 该导演说：“当时我非常伤心。你在一句台词词或一个表演上做一个小的改变，就可能对故事节奏中的一个角色产生大的改变，进而对整个电影产生影响。” 最后，他实在受不了在自己的电影里看“变味儿”的外国配音，表示还是别配了，听原声看字幕得了，开始“盯”上了最新的Deepfake技术。 他开始研究并参加了一个AI配音项目，该项目由德国马克斯-普朗克研究所的一位教授领导。（该研究所出过18个诺贝尔科学奖获得者） 他们的这项AI配音工作比传统的Deepfake复杂得多。需要捕捉一个场景中演员的面部表情和动作，以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型，将演员的面部和头部与配音者的嘴唇动作结合起来。 由这位导演和他参与创立的Flawless公司最终从该项目汲取了灵感，和制片厂讨论决定将该技术应用到多种语言版本的电影中。 然后就有了前面我们看到的那个demo效果，人物对话使用德语等语言配音，演员的口型和面部动作却与该语言紧密贴合，让观众根本无法意识到原版其实是用英语拍的。 演员看完表示很不安这项技术可以帮电影公司制作多语言版本时，避免昂贵的重拍。但是有演员看到自己被AI操纵、“说”出一口流利的外语后，同时表现出了惊喜和担忧这两种反应。 不难理解，Deepfake一直存在争议。 这项触手可及的换脸技术曾被用来合成名人色情片，以及基于报复或其他目的的素人色情视频。在政治领域也有被用来合成名人视频发表不恰当言论，影响选举等政治事件。对社会和伦理造成来很恶劣的影响。 现在在电影行业使用Deepfake的面部操纵，也可能引起争议。 一家也在搞AI配音的公司负责人表示，没法确定一些演员看到自己的表演发生这样的变化会有什么反应，尤其是他们不清楚这是电脑做的情况下。一些名气更大的演员可能根本就不赞同这样做吧。 美国银幕演员公会（SAG）总顾问表示，这项技术可以被合法和合乎道德的使用。任何此类技术的使用都必须获得相关演员的同意，并给予他们适当的补偿后才能进行。 不知道大家期待这项技术被合法利用在电影行业吗？ 参考链接： [1]https://www.wired.com/story/ai-makes-de-niro-perform-lines-flawless-german/ 重磅！DLer-CVPR2021论文分享交流群已成立！ 大家好，这是CVPR2021论文分享群里，群里会第一时间发布CVPR2021的论文解读和交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！