每日经济新闻

    “中国版Sora”来了!仅需一张全身照,就可以原地“唱跳”,分辨率高达1080p!来看效果→

    每日经济新闻 2024-06-08 13:09

    每经编辑 段炼 杜宇    

    据新华社,近日,快手“可灵”视频生成大模型官网正式上线。相较此前各家放出的视频大模型以展示视频为主,本次亮相的可灵大模型已在快手旗下的快影App开放邀测体验。

    CFF20LXzkOzTjY1xialIEOFccC4xh4Qy3kFqwc6kP468J1pqLccL0pFEYrSgWQ14FHGQoJLAt8ODuUqHxEs7n0g.png

    图片来源:可灵大模型官网

    据官网介绍,快手在短视频技术方面有多年的深入积累,其视频生成大模型也有天然、广泛的应用场景。可灵大模型为快手AI团队自研,具备诸多优势:能够生成大幅度的合理运动;能够模拟物理世界特性;具备强大的概念组合能力和想象力;生成的视频分辨率高达1080p,时长高达2分钟(帧率30fps),且支持自由的宽高比

    “可灵”大模型为快手AI团队自研,基于快手在视频技术方面的多年积累,采用“Sora”相似的技术路线,结合多项自研技术创新,效果对标“Sora”。

    据悉,可灵使用了与Sora一样的Diffusion Transformer架构,3D时空联合注意力机制等,该架构巧妙地融合了时间与空间的信息,对视频数据进行综合分析和处理。

    可精准捕捉到视频帧内的局部空间特征以及跨帧的时间动态特征,从而更全面地理解和再现视频中的运动信息。

    所以,无论是快速移动的物体、剧烈变化的场景,还是复杂的人物动作都能被精确捕捉,使得生成的视频内容动态性十足,同时具有很高的物理世界真实感。

    让我们一睹官方效果,动图截取有压缩,画质逊于展示视频,效果以官网为准。

    CFF20LXzkOzTjY1xialIEOFccC4xh4Qy3ZdRAAfjKkH14sh5Gnqtm0JQicbMjk5micJVGsrM2ueickKZy5RdibmicOHQ.jpg

    提示词:两朵花在黑色背景下缓慢绽放,展示出细腻的花瓣和花蕊

    CFF20LXzkOzTjY1xialIEOFccC4xh4Qy3F14ZC60e7wicN6LnoqB0icsgUHs4q5fUAxKFk3TsjErCygrzkRSx9IAg.jpg

    提示词:一只手将牛奶从钢制打奶壶倒入桌上一杯咖啡中,背景为模糊的厨房

    基于对文本-视频语义的深刻理解和 Diffusion Transformer 架构的强大能力,可灵能够将用户丰富的想象力转化为具体的画面,虚构真实世界中不会出现的场景。

    CFF20LXzkOzTjY1xialIEOFccC4xh4Qy3KpuPp0sdo46SFtN8dWCY8SFjACibmNBVexHA8xkibKrs9JGNQE7ib0YCA.jpg

    提示词:一只戴眼镜的小白兔坐在咖啡馆的椅子上看报纸,桌上有一杯热咖啡

    基于自研的3D人脸和人体重建技术,结合背景稳定性和重定向模块,实现表情肢体全驱动技术,仅需一张全身照片,即可体验生动的“唱跳”玩法。

    CFF20LXzkOzTjY1xialIEOFccC4xh4Qy3DqV5h0cmeswUicFiapApnxlqjcoZ0QVO4FibwqGV4TOnHJmRyZQKtcaEQ.jpg

    公开资料显示,快手已先后发布通用大语言模型“快意”、文生图大模型产品“可图”,还推出了Direct-a-Video、Video-LaVIT、I2V-Adapter、UNIAA等视频关键技术,引发了广泛关注。据悉,伴随此次可灵大模型的发布,快手将持续加速大模型的研发与应用,带来更加多元的AI创作与互动体验。

    编辑|段炼 杜宇 杜恒峰

    校对|何小桃

    CFF20LXzkOyYmal29zn37N5Bg2NQ4tyN4ylvMFyM3VmF4x90Uj4cDmoEphibia4RN55ibIXmqU1Od9w2Q5nhA08lA.png

    每日经济新闻综合自新华社、公开资料等

    版权声明

    1本文为《每日经济新闻》原创作品。

    2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。

    上一篇

    租户拆除承重墙,房屋轰然倒塌,2名实习大学生遇难!官方最新通报:3人被采取刑事强制措施

    下一篇

    24部票房破亿影片引进片占10席 引进片市场加速回暖



    分享成功
    每日经济新闻客户端
    一款点开就不想离开的财经APP 免费下载体验