每日经济新闻

    智能不够、人工来凑?Sora首批使用者“揭秘”:爆火短片,3人耗时两周,全靠人工后期

    每日经济新闻 2024-05-09 13:01

    每经编辑 黄胜    每经实习编辑 宋欣悦    

    2月15日, 美国人工智能公司OpenAI发布了最新“文生视频”大模型Sora,并附带发布了由它生成的48段视频,引发了整个市场的高度关注。Sora生成视频的画面逼真、连贯流畅,在视频时长方面,也远远领先于其竞争对手,一度被视为吹向好莱坞的一场大风暴。

    在Sora公布的作品中,一部名为《气球人(Air Head)》的短片,因情节完整、叙事性强,引发广泛讨论。在国内外各大平台上,网友们更是毫不吝啬地夸赞这部作品,甚至有人誉之为“Sora史上最佳发布”。

    然而,近日,《气球人(Air Head)》制作团队Shy Kids在接受在线媒体平台Fxguide的采访时,基于他们使用Sora的亲身体验,揭示了Sora在视频生成方面的局限。

    Shy Kids揭露,《气球人》这部短片,是三人耗费近两周才完成,后期工作量只增不减。

    图片来源:截图于fxguide

    用户界面仅支持文本输入

    在Sora的用户操作界面中,艺术家可以输入文本,随后ChatGPT会将这些文本转化成更长的一段文字,从而触发生成一段视频。然而,Sora目前并没有支持其他输入方式,也没有实现多模态功能。这是一个重要的短板,因为尽管Sora在同一镜头中的物体一致性处理得还不错,但系统目前还无法确保第一个镜头中的内容与随后的镜头完全匹配。也就是说,即便我们第二次输入同样的提示语,结果也可能不同。

    帕特里克在Shy Kids制作团队中,负责后期制作,他说:“我们能做的就是,在提示中尽可能对角色的服装以及气球的类型进行详细地描述。”

    Sora生成的每个独立片段,就其所代表的技术而言,都是令人惊叹的。然而,如何有效利用这些片段,取决于用户对 Sora隐式或显式镜头生成方式的理解。

    例如,假设你让Sora生成一个在厨房中的长跟踪镜头,并确保画面中的桌上有个香蕉,Sora 将依赖于其对“香蕉”这一概念的隐式理解来生成一个显示香蕉的视频。通过训练数据,Sora学习了香蕉的隐含特性,如“黄色”、“弯曲”、“有深色末端”等,但它并未存有具体的香蕉图像,也没有一个“香蕉图像库”,它只有一个相对较小、用于压缩存储的“潜在空间”。在这个空间中,“香蕉”仅仅是一个抽象的概念。

    这就意味着,每次生成的结果都是Sora对这个“潜在空间”的一种新的解读,这就需要我们的提示尽可能精确地描述我们对这些隐式特征的理解。

    靠后期制作,保持角色“Sonny”的一致性

    Shy Kids团队表示,在制作《气球人》的过程中,很难确保实际黄色气球人在每个镜头中保持一致,《气球人》中场景,是通过多次后期剪辑来接近剧本的。即使团队明确要求生成一个黄色气球,但最后生成的气球却可能是其它颜色,有时,气球上甚至会莫名出现一个脸部图案。另外,因为很多气球都带有绳子,Sora自动将“气球”和“绳子”关联到了一起。在《气球人》中,角色Sonny的衬衫前面总是垂着一条绳子,这些绳子都需要在后期制作中移除。

    带有脸部图案的气球人 图片来源:fxguide

    视频分辨率较低 渲染时间长

    虽说在《气球人》的制作中,Shy Kids团队使用的都是Sora所生成的画面,但大多经过了调色和再处理。帕特里克解释说,Sora最高可以支持720P的分辨率,1080P分辨率也已经推出,但渲染时间过长,为提高前期效率,团队都是在较低分辨率下生成的《气球人》的所有制作内容,后期再通过Topaz软件去提高分辨率。

    Sora所生成的视频片段,能以不同的时间长度进行渲染,如3秒、5秒、10秒、20秒,最长可达一分钟。渲染时间会根据一天中的时间和云服务的需求而有所变化。帕特里克回忆说:“通常情况下,每次渲染大约需要10到20分钟。渲染的段落长度对实际渲染时间的影响并不太大。如果渲染的内容长度在3秒到20秒之间,实际所需的渲染时间通常都在10到20分钟这个范围内。”他解释说:“我们之所以会这样做,是因为,如果获得了一段完整的20秒视频,我们就有更大的机会进行剪辑操作,这也相应地增加了得到满意成果的可能性。”

    时间控制不精确 焦点过于固定

    尽管可以在时间线上对关键帧进行调整,但对于动作发生的确切时间点控制并不精确,结果具有一定的不确定性。帕特里克说,“这有点像摸黑射击,就像老虎机一样,不确定它是否能在此时实现这些效果。”当然,Shy Kids使用的是Sora的最早原型之一,而Sora仍在不断地进行改进。

    除了选择分辨率外,Sora还允许用户选择画面比例,如纵向、横向(或正方形)。这在从Sonny的牛仔裤向上扫到他的气球头的镜头中派上了用场。不幸的是,Sora原生不支持这样的动作,它总是希望镜头的主焦点——气球人——始终处于画面中。因此,团队选择了纵向模式进行渲染,然后在后期通过裁剪手动创建了向上扫描的效果。

     

    Sora生成的镜头需要后期手动裁剪 图片来源:fxguide

    难以理解和执行镜头运动指令

    Sora 在理解和执行镜头运动指令方面,如“跟踪”、“平移”、“倾斜”或“推进”等,其理解和执行能力尚待加强。尽管用户可以输入如“相机平移”的提示,但 Sora 并不总是能够准确执行。

    帕特里克提到,Sora在处理摄像机角度方面的处理似乎有些随意。“OpenAI的研究人员并没有真正像电影制作者那样思考,更多的是在专注于图像的生成,而对于能否真正接收到或理解摄影指令这个问题,他们似乎没有太多考虑。”

    但目前,几乎所有视频生成AI公司都面临这个问题。Runway AI或许在提供描述摄影机动作的用户界面方面最为先进,但Runway的渲染剪辑的质量和长度都不如Sora。

    素材与成品比例300:1

    虽然所有图像都是在Sora中生成的,但气球仍需大量的后期处理。除了隔离气球以便重新上色,有时气球上会出现Sonny的脸,看似用马克笔画上的,这需要在AE(After Effects)中删除。类似的其他瑕疵也常常需要移除。

    Sora生成画面 图片来源:fxguide

     

    后期处理画面 图片来源:fxguide

    Shy Kids的方法类似于纪录片的后期制作和剪辑方式,先积累大量的镜头,然后从这些材料中编织故事,而非严格按照剧本拍摄。虽然短片有剧本,但团队仍需保持灵活并进行调整。“我们就是获取大量的镜头,并尝试以一种有趣的方式将其剪辑到旁白中,”帕特里克回忆道。对于最终进入电影的一分半钟的镜头,帕特里克估计他们生成了“数百个生成片段,每个片段10到20秒”。他补充说:“我的数学不好,但我猜源材料到最终成片数量的比例,大概是300:1。”

    拍摄合成和重新定时

    在《气球人》里,团队并没有将多个镜头合成在一起。例如,气球在赛车上空漂浮的镜头都是在一个镜头中生成的。

    有趣的是,许多《气球人》的片段生成时,就像是慢动作拍摄的,尽管这并非提示中要求。这种情况发生的原因不明,因此许多片段不得不重新调整时间,使其看起来像是实时拍摄的。显然,这比减慢快速运动更容易做到,但这确实也奇怪,可能是从训练数据中推断出来的。“我不知道为什么,但似乎许多片段的速度在50%到75%之间,”他补充说。“因此,我们需要相当多的时间调整,以防止整个项目感觉像是一个大型慢动作项目。”

    场景照明和色彩分级调整

    Shy Kids在他们的提示词中使用了“35毫米胶片”这一术语,发现这样的提示能带来较高一致性的画面效果。“如果我们需要高对比度,我们可以输入‘高对比度’、‘主光’,Sora通常会给我们接近所需的效果,”帕特里克说。“但我们仍然需要进行完整的色彩调整,并且我们进行了自己的数字电影外观处理,我们在其中添加了颗粒和闪烁,以某种方式将一切融合在一起。”Sora目前没有提供额外的通道选项,如遮罩或深度通道。

    版权带来的提示词限制

    为了尊重作品的版权,OpenAI设定了一些规定和限制。举例来说,如果你给Sora一个像是“在一个未来的飞船上,一名男子手握光剑走了过来。”这样的提示,并期望生成类似《星球大战》的场景,Sora会拒绝生成这样的视频。Shy Kids团队在早期测试中,偶然遇到了这一问题。帕特里克回忆说,当他们最初坐下来测试Sora时,拍摄了一个角色背后的镜头,类似阿罗诺夫斯基式的跟随镜头,他在Sora上输入了“阿罗诺夫斯基式镜头”,但Sora为保护原作版权,拒绝了这个提示。

    总结

    Sora是一个引人注目的“文生视频”大模型项目。Shy Kids团队仅用大约1.5至2周的时间,由3人组成的团队制作了爆火短片《气球人》。目前,该团队已经在制作一个自我意识强烈,或许带有讽刺意味的续集。“续集将从新闻角度出发,聚焦到气球人Sonny,以及他对名声的反应和随后与世界的决裂,”帕特里克说。“我们还在探索新技术!”团队希望在他们的实验中更加技术化,将Sora元素与真实的实景拍摄进行AE合成,并使用Sora作为辅助的视觉效果工具。

    Sora是一项非常新的技术,即使OpenAI已经为Sora勾勒出基本框架并展示了其应用,这些框架也尚未开放给早期测试者使用。Sora目前的形式似乎不太可能很快发布,但它在某种类型的隐式图像生成方面已经有了显著的进步。对于高端项目来说,可能还需要一段时间才能满足导演要求的具体化程度。对于许多其它项目来说,它已经“足够接近”,并能产生令人惊叹的图像。《气球人》仍然需要大量的编辑和人为指导,才能制作处这个引人入胜且有趣的故事短片。帕特里克说,“我只是觉得人们必须将Sora作为他们流程的真实部分;然而,如果他们不想参与这样的事情,那也没关系。”

    每日经济新闻综合公开资料

    封面图片来源:每日经济新闻 资料图

    版权声明

    1本文为《每日经济新闻》原创作品。

    2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。

    上一篇

    锂电板块大涨,锰矿涨价题材股涨停!多位选手火速报名入场!

    下一篇

    行业ETF风向标丨锂电行业迎重磅政策,10余只锂电ETF半日涨超3%



    分享成功
    每日经济新闻客户端
    一款点开就不想离开的财经APP 免费下载体验