一句话就能魔改视频主角，谷歌新「AI导演」强势来袭！ 来源：量子位 谷歌整出了个新“AI导演”，一句话甚至能把视频主角给换了。 你看，青青草地上，一只小熊正在跳舞。 难道现在的熊都这么有艺术细胞了嘛？？ No，No，No！草地上原有的其实是只猴子。 要从猴变熊，只用跟这个AI说一句： 一只小熊随着音乐节拍跳着舞，扭动他的整个身子。（A bear dancing and jumping to upbeat music, moving his whole body） 除了会“魔改”视频，这个名为Dreamix的AI还能把静态图片变成动画——也是一句话就搞定。 比如给此AI看一张“海龟游泳照”，再告诉它： 水下拍到一只海龟在游泳，后面有只鲨鱼正在靠近。（Underwater shot of a sea turle with a shark apporching from behind） 好家伙，一句话不仅让海龟游起来了，还凭空加了条鲨鱼。 这效果，让不少围观网友都纷纷点赞。 有人甚至断言，AIGC将在接下的两年时间继续掀起热潮，甚至比千禧年间的发展更加疯狂。 导演视频，只用一句话一经公开就能受到盛赞，这个AI究竟如何？不妨再看看其更多的“导演”作品来感受一下。 首先，在更换视频角色方面，这是原本的田野： 这是AI放火烧掉的田野： 这是人的手在写字： 这是AI生成的机器人手在写字： 同样以人写字的视频为原型，如果把提示句子换成“人的手在画圆”，还会有不同的生成效果： 而在静态图变动画方面，原图是雾蒙蒙的丛林： 而AI给这片林子加了一只奔跑的独角兽，而且镜头还按句子提示给拉远了。 还有这样一张河谷风景图： AI不仅让溪水流动起来，还给岸边加上了来洗澡水牛，给天空加上了飞翔的小鸟。 看到这里，有人可能会觉得欠点火候：动画倒是做出来了，但画质也牺牲了挺多啊。 那不妨多给AI看几张图。 比如一口气给AI看7张玩具火警的照片： 然后再让它根据一句话生成视频，这下画质就会清楚很多。 至于这个”AI导演”是怎么做的，谷歌表示，关键在于“老朋友”扩散模型（Diffusion Model）。 扩散模型，也是火出圈的AIGC作画神器DALL·E 2的核心。 谷歌研究人员指出，其实之前已有类似的“文字生成视频”AI了，但若仅仅在输入视频上对视频扩散模型进行微调，会限制运动变化的程度。 而此AI与众不同之处在于： 团队使用了一个“混合目标”，除了对原始目标进行微调外，还会对无序帧集进行微调。 他们采用了一种深度学习中专门的注意力机制：Masked Temporal Attention，帮助模型专注于输入信息的特定部分，忽略其他无关的部分。 ——这提高了模型处理序列数据的能力，生成视频中的动态更多样化，且效果也比较自然。 在扩散模型和Masked Temporal Attention的加持下，对于更换视频主角来说，输入其实已经被省略了——只需进行微调，结果的保真度也相当不错。 参考链接： [1]https://dreamix-video-editing.github.io/ [2]https://www.youtube.com/watch?v=QWUmk6GuqIQ [3]https://www.reddit.com/r/MachineLearning/comments/10tovhn/n_r_google_announces_dreamix_a_model_that/ 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！