◎下周,百度的“文心一言”将与GPT-4正面对决。
每经记者 文巧 每经编辑 高涵
图片来源:视觉中国
当地时间3月9日,据德国科技媒体报道,在一场名为“AI in Focus - Digital Kickoff”的活动上,微软德国公司的首席技术官安德烈亚斯•布劳恩(Andreas Braun)透露了一个重磅消息——GPT-4将于下周正式推出,并提到了一个关键细节,GPT-4将是多模态的。
语言模型的多模态意味着什么?基本上,这个模型可以管理不同语言数据的输入和输出,也能够同时输出文本、图像甚至视频,而目前的ChatGPT版本只能生成文本。正如布劳恩所说,“GPT-4将是一个多模态模型,它会提供完全不同的可能性——例如视频。”
据外媒分析,如果将这种可能性(多模态)转移到ChatGPT上,用户可以用西班牙语提出请求,但生成的文本是英文的。显然,这一功能对翻译工具也有很大帮助。
布劳恩将大型语言模型称为一个“游戏规则改变者”,这项技术已经发展到基本上“适用于所有语言”。借助多模态,微软(和OpenAI)将使模型变得更全面。
值得注意的是,百度的类ChatGPT产品发布也进入倒计时,预计将于3月16日(下周四)推出“文心一言”。这意味着,下周,“文心一言”将与GPT-4正面对决。
《每日经济新闻》记者注意到,此前,有传闻称GPT-4模型拥有多达100万亿的参数。不过,在此前接受外媒采访时,OpenAI首席执行官萨姆•阿特曼(Sam Altman)曾进行辟谣,称这个传言为“彻头彻尾的胡说八道”。
“GPT-4有一座‘谣言工厂’,这很荒谬。我不知道这一切是从哪里来的,”阿特曼说道, “人们期待我们已经拥有真正的通用人工智能,但事实是我们还并没有。”
在此前被问及GPT-4的发布时间时,阿特曼并未回应具体的时间,但他表示,“当我们有信心可以安全和负责任地做到这一点时,它会在某个时候出现。”随着GPT-4即将于下周公布的消息曝出,这意味着,OpenAI已经对此有了足够多的信心。
在9日的活动上,布劳恩并未透露更多GPT-4的细节,而目前OpenAI和微软也仍未公布有关GPT-4的细节信息。根据已有信息,外媒对GPT-4的模型参数和性能等方面做了预测。
尺寸
根据此前阿特曼的说法,GPT-4不会比GPT-3大很多。因此模型大小将不会是GPT-4的一个显著特征,预计GPT-4大约将有1750亿~2800亿个参数,或与Deepmind的Gopher模型类似。值得注意的是,参数大并不代表性能更高。阿特曼此前曾表示,公司正专注于让更小的模型表现得更好。
最优性
与GPT-3相比,GPT-4需要更多的算力。该模型在参数化和规模理论上,将实施更新的优化性见解。
稀疏性(指模型具有非常大的容量,但只有模型用于给定任务、样本或标记的某些部分被激活。这样,能够显著增加模型的容量和能力,而不必增加计算量。)
GPT-4 将是一个密集模型,这意味着所有参数都将用于处理任何给定的输入,这一点上遵循GPT-2和GPT-3设定的趋势。
对齐(指引导AI系统的行为,使其符合设计者的利益和预期目标。)
GPT-4 将比GPT-3更接近用户的利益,它将从InstructGPT中学到的东西集合在一起,InstructGPT根据用户的反馈数据进行训练。
封面图片来源:视觉中国
1本文为《每日经济新闻》原创作品。
2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。