Stable Video Diffusion问世!3D合成功能
来源:量子位
Stable Diffusion官方终于对视频下手了——
发布生成式视频模型Stable Video Diffusion(SVD)。
Stability AI官方博客显示,全新SVD支持文本到视频、图像到视频生成:
??
并且还支持物体从单一视角到多视角的转化,也就是3D合成:
根据外部评估,官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。
虽然目前只发布了基础模型,但官方透露“正计划继续扩展,建立类似于Stable Diffusion的生态系统”。
目前论文代码权重已上线。
最近视频生成领域不断出现新玩法,这次轮到Stable Diffusion下场,以至于网友们的第一反应就是“快”,进步太快!
但仅从Demo效果来说,更多网友们表示并没有感到很惊喜。
虽然我喜欢SD,而且这些Demo也很棒……但也存在一些缺陷,光影不对、而且整体不连贯(视频帧与帧之间闪烁)。
总归来说这是个开始,网友对SVD的3D合成功能还满是看好:
我敢打赌,很快就会有更好的东西出来,到时候只要描述一下,就会得到一个完整的3D场景。
SD视频官方版来袭除了上面展示的,官方还发布了更多Demo,先来看一波:
太空漫步也安排上:
背景不动,只让两只鸟动也可以:
SVD的研究论文目前也已发布,据介绍SVD基于Stable Diffusion 2.1,用约6亿个样本的视频数据集预训练了基础模型。
可轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。
微调后,官方公布的是两种图像到视频模型,可以以每秒3到30帧之间的自定义帧速率生成14(SVD)和25帧(SVD-XT)的视频:
之后又微调了多视角视频生成模型,叫做SVD-MV:
根据测试结果,在GSO数据集上,SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer:
值得一提的是,Stability AI表示SVD目前仅限于研究,不适用于实际或商业应用。SVD目前也不是所有人都可以使用,但已开放用户候补名单注册。
视频生成大爆发最近视频生成领域呈现出一种“混战”的局面。
前有PikaLabs开发的文生视频AI:
后又有号称“史上最强大的视频生成AIMoonvalley推出:
最近Gen-2的“运动笔刷”功能也正式上线,指哪画哪:
这不现在SVD又出现了,又有要卷3D视频生成的可能。
但文本到3D生成方面好像还没有太多进展,网友对这一现象也很是困惑。
有人认为数据是阻碍发展的瓶颈:
还有网友表示原因在于强化学习还不够强:
家人们对这方面的最新进展有了解吗?欢迎评论区分享~
论文链接:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
参考链接:
[1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model
[2]https://news.ycombinator.com/item?id=38368287
推荐阅读
西电IEEE Fellow团队出品!最新《Transformer视觉表征学习全面综述》润了!大龄码农从北京到荷兰的躺平生活(文末有福利哟!)如何做好科研?这份《科研阅读、写作与报告》PPT,手把手教你做科研奖金675万!3位科学家,斩获“中国诺贝尔奖”!又一名视觉大牛从大厂离开!阿里达摩院 XR 实验室负责人谭平离职
最新 2022「深度学习视觉注意力 」研究概述,包括50种注意力机制和方法!【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!2021李宏毅老师最新40节机器学习课程!附课件+视频资料
欢迎大家加入DLer-计算机视觉技术交流群!
大家好,群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享,主要方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
??长按识别,邀请您进群!
网站开发网络凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线:13245491521 13245491521 ,我们会详细为你一一解答你心中的疑难。 项目经理在线