每经编辑 张锦河 每经实习编辑 宋欣悦
6月13日,由硅谷知名创投公司安德森·霍洛维茨(Andreessen Horowitz,简称a16z)投资的美国初创公司Luma AI,宣布推出其文生视频/图生视频模型Dream Machine,并免费向公众开放。消息一出,瞬间吸引了大批用户前来使用,服务器一度被挤爆。Dream Machine高质量的生成效果也获得了不少网友的好评。
图片来源:Luma官网
就在今天,Luma AI首发了自己的视频生成模型Dream Machine,可以通过文字或图片生成高质量的逼真视频。更重要的是,API免费向全球用户开放试用,用户进入官网后用谷歌账号登录即可马上试用。
图片来源:X
每位用户每月可以免费生成30次视频,但每条视频的时长仅为5秒。如果需要生成更多视频,则需要订阅付费服务。
图片来源:Dream Machine
尽管该模型承诺,在120秒内生成一个包含120帧的高质量视频。但实际上,许多用户表示,他们需要在Dream Machine网站上排队等待数小时,才能得到生成的视频,社交媒体上抱怨声不断。有网友表示:“苦苦等了俩小时,啥也没有。”
图片来源:Reddit
对此,Luma AI的增长负责人戴高乐(Barkley Dai)在该公司的Discord频道上回应:“目前我们面临极高的需求,正在努力增加我们的处理能力。所有生成的内容不会丢失,只是大家会暂时排队等待。”
图片来源:Discord
不过好在,Dream Machine的视频生成表现,没有辜负网友们的耐心等待。从Luma官方发布的demo就可以看出,其生成的视频可谓是“电影感”十足。
图片来源:Luma官网
Dream Machine生成的视频,不仅有比较好的连贯性,镜头的艺术感也非常不错。它还支持自由变换摄像机视角,实现追踪、环绕和俯视等效果,让摄像机运动更加流畅自然,用户可以轻松尝试各种电影化的摄像机移动,制作出更具吸引力的视频。此外,demo还单独强调了一些模型能力,比如生成各种动态以及具有表现力的人物。
图片来源:Luma官网
尽管Luma的Dream Machine在视频生成方面表现出色,但它仍然存在一些不足之处。
例如,在形态转换和运动捕捉方面,仍需进一步优化和改进。不过,Luma Labs团队在其官网上,表明他们已经意识到这些挑战的存在,会持续努力解决的。
Luma成立于2021年,聚焦于3D内容生成的计算机视觉,公司定位于建立多模态人工智能,拓展人类想象力和能力。今年1月,Luma完成了由a16z独家投资的4300万美元B轮融资。此前,Luma在A轮融资中获得了英伟达等知名机构的投资。
图片来源:Luma官网
Luma的主要业务为使用AI技术生成高质量的3D角色和场景,公司的技术和产品包括使用深度学习和计算机视觉算法的 Text-to-3D(文字生成3D)、Video to 3D(视频生成3D)、 Image to 3D(图片生成3D)等技术以及开发的 LumaNeRF 算法,可以用于快速生成各种类型的3D模型。
产品主要应用场景包括生活记录、游戏制作、动画和影视制作、商品展示和销售、地图和导航、机器人等。
图片来源:Tracxn
阿米特·贾因(Amit Jain)是Luma AI的创始人兼CEO,毕业于密苏里谷学院的数学与计算机科学专业,在3D计算机视觉、机器学习等方面有着丰富的经验,曾在Apple的AR/VR 部门任职。另一位联合创始人兼CTO余思贤(Alex Yu),毕业于UCB计算机科学与应用数学专业,曾与人工智能研究实验室教授金泽安珠(Angjoo Kanazawa)共同进行NeRF相关的 3D 计算机视觉研究,并曾在Adobe和Google实习。
图片来源:Luma官网
每日经济新闻综合公开消息
1本文为《每日经济新闻》原创作品。
2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。