自动驾驶团队进军好莱坞？打造电影级Sora 来源：新智元 在好莱坞历史上，有几只动物演员因其杰出的表演而声名鹊起，成为了家喻户晓的明星。 例如，华纳百年，第一位称得上明星的不是男星，也不是女星，而是德国牧羊犬Rin Tin Tin。一战结束后，它被美国大兵李邓肯从战场带回国，在20世纪20年代到30年代参演了多部影片，成为了当时最受欢迎的电影明星之一，被誉为「银幕上的英雄」。 电影海报，Rin Tin Tin独占大字和视觉中心，谁是电影头牌一目了然 Rin Tin Tin在处理堆成小山的热情影迷来信还有美剧《欢乐一家亲》中的Moose，因其在剧中的出色表演而成为了另一个广受观众喜爱的动物明星。这些著名的动物演员不仅证明了动物在表演艺术中的天赋，也展现了它们在叙述故事和触动人心方面的独特能力。然而，随着CGI和AI技术的进步，越来越多的制片方倾向于使用数字创作来塑造电影中的动物角色，这不仅因为它能够避免涉及动物权益的争议，还因为数字创作在制作过程中提供了更大的灵活性和控制度。好莱坞的巨头们，如迪士尼、索尼、华纳兄弟等，早已将AI技术纳入战略规划。另一边，AI科技巨头也嗅到了好莱坞的商机，今年3月底，OpenAI曾与派拉蒙、环球和华纳兄弟探索等高管见面，展示其Sora模型。并且已经向一些大牌演员和导演授予了Sora的访问权限，据参与该会议的人士透露，OpenAI明确请求工作室的高管们帮助其推广Sora。而最近，Odyssey，一款好莱坞级别的视觉AI技术，也宣布将进军好莱坞电影制作。自动驾驶驶向好莱坞？ 有趣的是，Odyssey是由一帮早前做自动驾驶的人组成。Cruise前产品副总裁Oliver Cameron、Wayve前技术副总裁Jeff Hawke成立了Odyssey，宣称要打造好莱坞级别的视觉AI，该公司的研究人员来自Cruise、Wayve、Waymo、特斯拉、Meta等公司。两位自动驾驶汽车公司的资深人士正试图在好莱坞大展拳脚，不是作为演员，而是作为人工智能软件的开发者，未来的大片将在这些软件上诞生。他们在旧金山创办了一家名为Odyssey的初创公司，与OpenAI、Runway和Metaphysic等公司竞争，为专业电影制作人和动画师提供工具，志在向早期皮克斯看齐，使命是提供创作电影、电视节目和视频游戏的更好方式。Cameron说，虽然出身自动驾驶汽车领域，但这段经历让两位联合创始人深知收集自己的真实世界数据集来训练模型的重要性。与其他依靠在互联网上搜索视频数据为AI软件提供素材的文字视频公司不同，Odyssey正在现实世界中收集自己的三维数据集，并以此为模型提供素材。互联网上根本没有足够大的三维数据集来建立足够规模和能力的AI模型，以满足Odyssey的需求。他和Hawke在自动驾驶汽车方面的经验让他们对如何收集Odyssey所需的真实世界数据有了一些巧妙的想法，不过Cameron拒绝公开透露其中的方法。今天，Odyssey从近一年的沉淀中脱颖而出，获得了来自GV（谷歌风投，Alphabet 的风险投资部门）的900万美元种子资金，DCVC、Air Street Capital以及十多位个人早期投资者和天使投资人也参与了投资。Odyssey的AI软件在某些方面与OpenAI的Sora或Runway的Gen 3相似，都是将场景或镜头序列的文字描述转化为高质量的电影短片。到目前为止，Sora只向少数初始测试用户发布，但OpenAI在今年2月发布的精彩演示却让好莱坞惶恐不安。电影制片人Tyler Perry在看过Sora的演示后表示，他将「无限期搁置」在亚特兰大耗资8亿美元扩建电影制片厂的计划，因为Sora让他怀疑传统制片厂在未来是否还有用武之地。演员兼科技投资人Ashton Kutcher表示，他也相信人工智能将很快让任何人都能创作一部电影，而无需演员、摄制组或好莱坞的巨额预算。用AI讲好故事 在Odyssey官网释出的视频展示和内容可以看出，Odyssey的一个核心概念是:用AI更好地讲故事。从最早的祖先围着篝火讲故事到创作了小说《伊利亚特》、《奥德赛》和《一千零一夜》，再到创作电影作品，视觉特效将我们带向了遥远的国度，聆听一个个生动形象的故事。随着技术的发展，故事的讲述方式也在不断演变。然而，有一点始终不变，伟大的故事都是血汗和泪水的结晶，而Odyssey就决定用AI讲故事。如今，在网络上转一圈就会发现，低质AI生成内容充斥着我们的生活。低质短视频、垃圾机器人，许多公司都在利用人工智能制作文字和图像，吸引你的注意力。如果处理不当，AI视频生成也会朝着类似的方向发展，我们会被大量没有火花和内核的随机视频淹没。如果时间足够长，也许我们就会沉迷于这些垃圾视频，忘记高质量的故事是什么样子。也许人类将沦为故事的观看者，而不是故事的讲述者。Odyssey就反对这种短频快的低质视频接收。他们认可讲故事对生活方式的重要性，正如一代代已经证明，优秀的故事可以提供非常丰富的精神食粮。同样，强大的人工智能也是如此，但是需要技术的进步和正确的构建。Odyssey认为，与其研究一个个优化点击率的算法，不如让专业讲故事的人掌握一种新的视觉人工智能。这种视觉人工智能不仅能让他们制作出令人惊叹的视频，还能利用先进的技术，让脑海中的史诗故事走向大荧幕。Odyssey的野心：视觉效果对标好莱坞级 要想让AI为好莱坞服务，它必须能够制作出高质量、无闪烁、震撼人心的视觉效果。但到目前为止，这些模型只能生成不到一分钟的短视频序列，而且不能保证在整个序列中人物和背景保持一致。Odyssey首席执行官Oliver Cameron表示，Odyssey公司希望为电影制作人提供对AI生成的镜头更精细的控制，并且保证镜头一致性，以及更逼真的光影视觉效果。Cameron告诉《财富》杂志，Odyssey被设计为「好莱坞级」视觉人工智能，旨在为「世界上最疯狂的创作者」赋能。他以导演詹姆斯-卡梅隆（James Cameron）和他的《阿凡达》（Avatar）电影为例，每部电影的制作时间都超过十年，涉及数百名视觉特效艺术家，耗资数亿美元。Odyssey希望在不牺牲视觉质量的前提下，将时间和成本降低到一个五人团队花费五万美元、工作六个月。为了实现「好莱坞级」视觉效果的愿景， Odyssey正在开创好莱坞级别的视觉人工智能，在这里，美丽的场景、人物、光影和动作都可以生成和引导。此外，Cameron说，Odyssey正在开发的软件不仅仅是一个从文字到视频的模型，而是一个模型家族。专门从事四项不同的任务：生成三维图形渲染、生成材料效果（如水或布）、生成运动效果，最后生成光影效果。环境三维渲染：生成不同材质纹理：生成运动效果：生成光影视觉效果：传统的文本到视觉模型相比，这种功能的实现需要更深的技术层次。通过训练四个功能强大的生成模型，这些模型能够对视觉的每个层次进行微调控制，而不是训练一个模型，只能进行单一输入和单一不可编辑的输出。Odyssey旨在让创作者对场景中的每个元素进行全面、微调的控制。从壮丽的山脉、茂密的植被、美丽的河流，到打光运用、人物运动等都可以全方位操控。简而言之，这是一种创作电影、电视节目和视频游戏的全新方式。4个模型协调运作，形成视频帧。因此，Odyssey能够生成集高质量的三维图形、逼真的材质、令人惊叹的光影和可控的运动为一体的高质量视频。并且，每个模型的输入也不局限于文本，甚至包括人类创作者用手写笔绘画或静态数字图像。更重要的是，Odyssey正在围绕这些模型建立专为高级用户量身定制的工作流程，并与好莱坞、游戏和其他领域使用的现有制作工作流程进行一流的集成。这将使电影制片人和专业视觉特效师（他们是 Odyssey 软件的目标用户）对最终输出拥有极大的创作自由，而目前的文本到视频人工智能模型无法做到这一点。参考资料：https://odyssey.systems/推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！