翻车现场，奥特曼和黄教主打起来了？ 来源：量子位 发布不到2天，那个号称“下一代”文生视频的Dream Machine（来自Luma AI），大大大大翻车。 原本宣传中的效果是这样的： 效果之惊艳，令人直呼“忘掉Sora”、“影视级水平”，并且Luma也是相当自信地表示“在线免费可玩”。 然而……当网友们纷纷前去尝鲜之后，得到的结果却是大跌眼镜。 例如给Dream Machine“投喂”一张OpenAI的一张合影： 结果它生成的视频是这样的： 是的，打起来了，而且人物的畸变也是相当离谱。 网友们也是忍俊不禁，调侃地说道： 我们终于知道去年OpenAI发生了什么。 再“投喂”一张奥特曼、老黄和Brockman的合影： Dream Machine这次给出的结果是： 没错……又打起来了。 （Dream Machine好像很暴力的样子） 虽说Dream Machine生成视频的效果和剧情有些离谱，但爱整活儿的网友们却是坐不住了，直接开辟了一个新赛道。 让表情包“活”起来或许Dream Machine这种“不走寻常路”的风格，跟表情包的气质很搭，现在网友们更乐于让AI“续写”表情包： AI让memes栩栩如生。 Luma的Dream Machine可以当成Meme Machine了。 例如这张非常经典的表情包，在Dream Machine的加持下，后续的故事就谱写出来了： 然而还有更drama的版本——顺手牵羊： 男主角还从一名白人直接变成了三哥…… 我们经常用到的“狗头”表情包，也在Dream Machine之下活了起来： 还有“淡定姐”和“励志哥”： 不难看出，Dream Machine被网友们吐槽翻车的最大问题，就是在于无法保证视频内容的连续性。 尤其是在生成人物方面，前后帧直接变人种、变性别的概率比较高。 因此，也有网友建议： 使用Luma最好的方法，就是先用Midjourney这样的工具生成关键图片，然后再用Luma对其处理。 然而，说到AI翻车，Luma的Dream Machine并不是个例。 SD3开源也秒翻车前两天Stable Diffusion 3开源的消息也是让不少的网友们兴奋了一把。 但在亲自体验过后，很多人却直呼离了大谱。 例如生成一个躺在草地上的女孩，结果“打开方式”是这样的： 而且不是个例，只要是和人（整体）相关的内容，生成结果都有点掉san。 虽然在生成其它方面SD3的效果还是能让人满意，但它和Dream Machine一样，总是处理不好人类。 有人发现，如果细看“躺在草坪上的女孩”这张图像，会发现它在局部细节上确实还可以，甚至很棒。 草地上的影子、衣物上反射的光线、头发的质地……都遵循了物理规律。 但人物整体就不敢恭维了。 不少网友都认为，这就是问题的关键。 我认为他们的NSFW过滤器，把所有人类图像都判定为了NSFW。 这个过滤器全称是filtering out adult content，作用在于过滤掉不合规的成人内容。 SD2发布时就出现过类似的问题，研究人员发现审查这部分内容可能影响了模型对人体结构的理解。 后面的SD2.1和SDXL版本在这一问题上有所缓解。 这次SD3的翻车，暴露了一个问题：过于严格的数据审核，可能误删了一些无害的成人图像，所以现在模型没法理解人体结构。 总而言之，无论是Dream Machine还是SD3等，AIGC应用工具还需要不断加强和完善。 不过若是对整活表情包感兴趣的小伙伴，现在就可以去试试了： https://lumalabs.ai/dream-machine 参考链接： [1]https://x.com/lumalabsai/status/1800921380034379951?s=46&t=6eepxw1G6XRQ7VO0ANjJWg [2]https://twitter.com/minchoi/status/1801338536597274999 [3]https://x.com/emollick/status/1801474104182390803 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！