报告揭秘Sora六大优势 业内：AGI可能在一两年内实现

“两只金毛猎犬在山顶播客”； “火星上日落时的一场极具未来感的无人机比赛”； “在一个与自然和谐共生，同时又有超强朋克气质和高科技属性的未来城市漫游……” 根据上述提示词，OpenAI首席执行官阿尔特曼在X平台上发布了一系列视频，精美的场景让用户惊叹不已。而这些视频全都是通过OpenAI 2月16日发布的最新视频生成模型Sora制作的，用户震惊之余，也给予了Sora高度评价，将其描述为“绝无仅有”和“游戏规则改变者”。 Sora采用了OpenAI文生图模型DALL·E 3背后的强大技术，可将简短的文本描述转化成长达1分钟的高清视频。业界大佬Gabor Cselle将Sora和Pika、RunwayML和Stable Video进行对比后发现，在输入相同的提示后，其他主流工具生成的视频都大约只有5秒钟，Sora可以在一段长达17秒视频场景中，保持动作和画面一致性。 英伟达人工智能研究院首席研究科学家Jim Fan也对Sora的能力发出感叹，称这是视频生成领域的GPT-3时刻。他表示，Sora是一个“数据驱动的物理引擎”，一个可学习的模拟器或“世界模型”。360集团创始人、董事长周鸿祎则称，随着Sora的到来，人类离AGI真的就不远了，不是10年、20年的问题，可能一两年很快就可以实现。 在随后发布的技术报告中，OpenAI介绍了Sora的强大性能以及背后的支撑技术，也对Sora的局限性进行了客观的分析。《每日经济新闻》记者通过梳理，总结出了Sora的六大核心优势。 从技术上看，Sora有望将数字内容的创造力和真实感提升到新的水平，但凡事总有两面性，影视、广告制作和视频等行业也将面临严重的冲击。另外，有专家对于技术的迅猛发展也表示出了担忧，称这类技术可能会导致“深度伪造”视频，让人难以识别，产生滥用等问题。 报告揭秘Sora六大优势 值得注意的是，Sora推出的同一天，谷歌发布了Gemini多模态模型的更新版本，而三天前，Stability AI推出了新的图像生成模型Stable Cascade。OpenAI的最新举动无疑将加剧生成式AI图片和视频领域的竞争。 而在Sora推出后不久，OpenAI发布了这款新工具的技术报告。在报告中，OpenAI首先重点介绍了如何将不同类型的视觉数据转化为统一的格式，以便于对生成模型进行大规模训练的方法，并对Sora的能力和局限性进行了评价。 《每日经济新闻》记者对报告进行梳理，总结出了Sora的六大优势： （1）准确性和多样性：Sora可将简短的文本描述转化成长达1分钟的高清视频。它可以准确地解释用户提供的文本输入，并生成具有各种场景和人物的高质量视频剪辑。它涵盖了广泛的主题，从人物和动物到郁郁葱葱的风景、城市场景、花园，甚至是水下的纽约市，可根据用户的要求提供多样化的内容。另据Medium，Sora能够准确解释长达135个单词的长提示。 （2）强大的语言理解：OpenAI利用Dall·E模型的recaptioning（重述要点）技术，生成视觉训练数据的描述性字幕，不仅能提高文本的准确性，还能提升视频的整体质量。此外，与DALL·E 3类似，OpenAI还利用GPT技术将简短的用户提示转换为更长的详细转译，并将其发送到视频模型。这使Sora能够精确地按照用户提示生成高质量的视频。 （3）以图/视频生成视频：Sora除了可以将文本转化为视频，还能接受其他类型的输入提示，如已经存在的图像或视频。这使Sora能够执行广泛的图像和视频编辑任务，如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。OpenAI在报告中展示了基于DALL·E 2和DALL·E 3的图像生成的demo视频。这不仅证明了Sora的强大功能，还展示了它在图像和视频编辑领域的无限潜力。 （4）视频扩展功能：由于可接受多样化的输入提示，用户可以根据图像创建视频或补充现有视频。作为基于Transformer的扩散模型，Sora还能沿时间线向前或向后扩展视频。 （5）优异的设备适配性：Sora具备出色的采样能力，从宽屏的 1920x1080p 到 竖 屏 的1080x1920，两者之间的任何视频尺寸都能轻松应对。这意味着Sora能够为各种设备生成与其原始纵横比完美匹配的内容。而在生成高分辨率内容之前，Sora还能以小尺寸迅速创建内容原型。 （6）场景和物体的一致性和连续性：Sora可以生成带有动态视角变化的视频，人物和场景元素在三维空间中的移动会显得更加自然。Sora 能够很好地处理遮挡问题。现有模型的一个问题是，当物体离开视野时，它们可能无法对其进行追踪。而通过一次性提供多帧预测，Sora可确保画面主体即使暂时离开视野也能保持不变。 Sora让AGI很快实现？ 英伟达人工智能研究院首席研究科学家Jim Fan在X平台发文表示，“如果你还是把Sora看成DALLE那样的生成式玩具，还是好好想想吧，这是一个数据驱动的物理引擎。他是对许多世界的模拟，无论是真实的还是幻想的。”他认为，Sora是一个可学习的模拟器，或“世界模型”。 在他看来，Sora代表了文本生成视频的GPT-3时刻。而针对部分称“Sora并没有学习物理，仅仅是在二维空间里对像素进行操作”的声音，他表示，Sora所展现的软物理仿真实际上是一种随着规模扩大而出现的特性。Sora必须学习一些隐式的文本到3D、3D 变换、光线追踪渲染和物理规则，才有可能精确地模拟视频像素。它必须理解游戏引擎的概念，才有可能生成视频。 值得一提的是，有网友在网上评论Sora生成的60秒时尚女子在东京街头散步时称，“gg Pixar（皮克斯动画制作公司）”（编注：gg为Good Games缩写，代指“打得好，我认输”），随后马斯克回复，“gg humans（人类）”。 对于Sora的最大优势，360集团创始人、董事长周鸿祎说，“这次OpenAI利用它的大语言模型优势，让Sora实现了对现实世界的理解和对世界的模拟两层能力，这样产生的视频才是真实的，才能跳出2D的范围模拟真实的物理世界。”他同时称：“一旦人工智能接上摄像头，把所有的电影都看一遍，把YouTube和TikTok的视频都看一遍，对世界的理解将远远超过文字学习，一幅图胜过千言万语，这就离AGI真的就不远了，不是10年、20年的问题，可能一两年很快就可以实现。” 影视等行业面临颠覆 然而，Sora在带来无限可能的同时，也将对部分行业产生巨大的影响，包括影视、广告制作、教育、游戏、新闻和动画等领域。 谈及Sora的行业冲击时，Jim Fan评价道，Sora的物理学理解目前还是脆弱的，远非完美。它仍然会产生幻觉，生成与物理常识不符的事物，还没有很好地掌握物体交互的原理。 周鸿祎对此也深以为然，他指出，AI不一定那么快颠覆所有行业，但它能激发更多人的创作力。他表示，“Sora只是小试牛刀，它展现的不仅仅是一个视频制作的能力，而是大模型对真实世界有了理解和模拟之后，会带来新的成果和突破。” 他解释说，“机器能生产一个好视频，但视频的主题、脚本和分镜头策划、台词的配合，都需要人的创意至少需要人给提示词。”他强调，科技竞争最终比拼的是人才密度和深厚积累。 而对于Sora存在的弱点，OpenAI也明确指出，它可能难以准确模拟复杂场景的物理原理，并且可能无法理解因果关系。该模型还可能混淆提示的空间细节，例如混淆左右，并且可能难以精确描述随着时间推移发生的事件，如遵循特定的相机轨迹。而这些缺陷可能导致Sora生成一些不合逻辑的东西，比如一个人在跑步机上跑错方向，以不自然的方式改变主题，甚至出现凭空消失现象。 滥用仍是最大的担忧 随着名人等人物的深度造假视频在网上变得越来越普遍，相应的伦理和安全问题也让人心惊。 Gartner 分 析 师 Arun Chandrasekaran表示，“鉴于这项技术确实非常新，他们必须对其进行充分控制，以防止其被滥用和误用，甚至客户在没有认识到这项新兴技术所有局限性的情况下使用它。”他补充道，OpenAI为该模型设置的防护措施以及确定谁可以获得访问权限至关重要。 牛津互联网学院客座政策研究员Mutale Nkonde也表示，任何人都可以轻松地将文本转换为视频这一想法令人兴奋。但同时，她也担心这些工具可能会植入社会偏见等内容，对人们生计造成影响等。 普林斯顿大学计算机科学教授Arvind Narayanan对此也有担忧，认为Sora这类技术可能会导致“深度伪造”视频，让人们难以识别。虽然AI制作的视频仍会有一些不一致的地方，但普通人可能不会注意到这些细节。“迟早，我们需要适应现实主义不再是真实性的标志这一事实。”