Stable Video Diffusion问世！3D合成功能 来源：量子位 Stable Diffusion官方终于对视频下手了—— 发布生成式视频模型Stable Video Diffusion（SVD）。 Stability AI官方博客显示，全新SVD支持文本到视频、图像到视频生成： ?? 并且还支持物体从单一视角到多视角的转化，也就是3D合成： 根据外部评估，官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。 虽然目前只发布了基础模型，但官方透露“正计划继续扩展，建立类似于Stable Diffusion的生态系统”。 目前论文代码权重已上线。 最近视频生成领域不断出现新玩法，这次轮到Stable Diffusion下场，以至于网友们的第一反应就是“快”，进步太快！ 但仅从Demo效果来说，更多网友们表示并没有感到很惊喜。 虽然我喜欢SD，而且这些Demo也很棒……但也存在一些缺陷，光影不对、而且整体不连贯（视频帧与帧之间闪烁）。 总归来说这是个开始，网友对SVD的3D合成功能还满是看好： 我敢打赌，很快就会有更好的东西出来，到时候只要描述一下，就会得到一个完整的3D场景。 SD视频官方版来袭除了上面展示的，官方还发布了更多Demo，先来看一波： 太空漫步也安排上： 背景不动，只让两只鸟动也可以： SVD的研究论文目前也已发布，据介绍SVD基于Stable Diffusion 2.1，用约6亿个样本的视频数据集预训练了基础模型。 可轻松适应各种下游任务，包括通过对多视图数据集进行微调从单个图像进行多视图合成。 微调后，官方公布的是两种图像到视频模型，可以以每秒3到30帧之间的自定义帧速率生成14（SVD）和25帧（SVD-XT）的视频： 之后又微调了多视角视频生成模型，叫做SVD-MV： 根据测试结果，在GSO数据集上，SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer： 值得一提的是，Stability AI表示SVD目前仅限于研究，不适用于实际或商业应用。SVD目前也不是所有人都可以使用，但已开放用户候补名单注册。 视频生成大爆发最近视频生成领域呈现出一种“混战”的局面。 前有PikaLabs开发的文生视频AI： 后又有号称“史上最强大的视频生成AIMoonvalley推出： 最近Gen-2的“运动笔刷”功能也正式上线，指哪画哪： 这不现在SVD又出现了，又有要卷3D视频生成的可能。 但文本到3D生成方面好像还没有太多进展，网友对这一现象也很是困惑。 有人认为数据是阻碍发展的瓶颈： 还有网友表示原因在于强化学习还不够强： 家人们对这方面的最新进展有了解吗？欢迎评论区分享～ 论文链接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf 参考链接： [1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model [2]https://news.ycombinator.com/item?id=38368287 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！