百度又放大招!视觉生成模型 Hallo2 或将落地数字人等场景
作者 | 华卫 近日,百度联合复旦大学等发布 Hallo2,一个可以生成长达数小时且分辨率为 4K 的人物动画的视觉模型。Hallo2 目前已经在 GitHub 平台开源,供全球开发者免费使用和研究,预计将促进视频生成技术的广泛应用和发展。(项目地址:https://fudan-generative-vision.github.io/hallo2/#/)
Hallo2 发布后,在海外引发了不小的震动。有人惊叹视频生成的长度和分辨率,也有老用户从 Hallo 第一代模型就被圈粉,还有对 Hallo2 开源模型和代码的认可。
Hallo2 备受关注,很重要一个原因是百度和复旦的研究团队解决了人像视频生成一个很大的痛点:如何提升视频生成的时长和质量。
一直以来,生成高质量的人物动画需要耗费大量的时间和人力成本。而百度与复旦联合发布的 Hallo2 的出现,有望彻底改变这一现状,为数字人、电影制作、虚拟助手、游戏开发等领域带来革命性的变化。
?
Hallo2 是能够实现长达一小时、4K 分辨率的音频驱动人像动画生成模型。通过创新的图像块丢弃、噪声增强和时间对齐等技术,Hallo2 解决了长时视频生成中的外观漂移和视觉不一致问题,支持灵活的语音与文本控制,生成质量达到业内领先水平。
Hallo2 继承了前代 Hallo 模型的创新框架,继续采用基于扩散的生成模型和分层音频驱动视觉合成模块,提高了音频与视觉输出之间的同步精度,并经过改进使得各部分的协同作用更加高效,增强了生成动画的质量和真实感。此外,Hallo2 不仅在图像和视频的质量方面有了显著提升,而且大幅增加了动作的丰富性和多样性。
有行业专家表示,Hallo2 的出现,标志着音频驱动的肖像图像动画技术迈入了新的发展阶段。百度基于长期的视觉技术积累,正在瞄准行业痛点进行针对性研究和场景落地,不仅为开发者提供了强大的工具,也为未来各种应用场景下的动画形象创作带来了新的可能性。
会议推荐2024 年收官之作:12 月 13 日 -14 日,AICon 人工智能与大模型大会将在北京举办。从 RAG、Agent、多模态模型、AI Native 开发、具身智能,到 AI 智驾、性能优化与资源统筹等大热的 AI 大模型话题,60+ 资深专家共聚一堂,深度剖析相关落地实践案例,共话前沿技术趋势。大会火热报名中,详情可联系票务经理 13269078023 咨询。
今日荐文
科学家也可以成功创业!年内港股最大科技IPO,地平线上市开盘大涨28%
不怪奥特曼慌!最大对手Anthropic抢先让AI 接管人类电脑,网友怒赞并喊话OpenAI:看看人家
微软制霸AI编程?GitHub被曝秘密开发Copilot专属API,“杀死”Cursor和一众Copilot开源替代!
字节回应“实习生破坏大模型训练”事件;张艺谋为《三体》电影成立 AI 小组;《英雄联盟》团队裁员:补偿至少半年工资 | AI周报
苹果一篇论文把大模型圈子得罪了!“踩着”OpenAI、Meta大模型上位,Gary Marcus:早就说大模型不会推理!你也「在看」吗???
网站开发网络凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线:13245491521 13245491521 ,我们会详细为你一一解答你心中的疑难。 项目经理在线