推理成本高制约大模型规模化应用？大厂们的大模型价格“卷起来了”

今日（5月21日），阿里云方面宣布，通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，直降97%。这意味着，1块钱可以买200万tokens，相当于5本《新华字典》的文字量。这款模型最高支持1000万tokens长文本输入，降价后约为GPT-4价格的1/400。 而近期火山引擎官网更新了豆包大模型的定价详情，全面展示豆包通用模型不同版本、不同规格的价格信息。火山引擎方面表示，豆包大模型为客户提供了灵活、经济的付费模式，“后付费”即可满足绝大多数企业客户的业务需求，助力企业以极低成本使用大模型、加速大模型的应用落地。 2024年是大模型应用落地各行业的关键之年。业界普遍认为，随着大模型性能逐渐提升，AI应用创新正进入密集探索期，但推理成本过高依然是制约大模型规模化应用的关键因素。降低大模型推理价格成了大厂们的竞争焦点，低成本应用大模型的价格战在大厂之间悄然升温。 推理成本高制约大模型规模化应用 2024年2月底，英伟达发布了2024财年第四季度财报，业绩再次超出预期。据英伟达电话会议披露，公司全年数据中心里已经有40%的收入来自推理业务，超出大部分人的预期。 训练AI模型的芯片需求一举推升英伟达成为“芯片新王”，而AI推理芯片则成为下一个芯片企业竞争的核心领域。业界普遍认为，随着大模型性能逐渐提升，AI应用创新正进入密集探索期，但推理成本过高依然是制约大模型规模化应用的关键因素。 据新浪科技报道，5月21日，创新工场董事长兼首席执行官李开复表示，在一定程度上，整个行业每年大幅降低推理成本，这是可以期待的，而且是必然也应该发生的。 大模型厂商价格战升温 近一个月，国内云厂商掀起了新一轮大模型降价潮。 5月11日，智谱AI大模型开放平台上线了新的价格体系，新注册用户获得额度从500万tokens提升至2500万tokens，并且个人版GLM-3Turbo模型产品的调用价格从5元/百万tokens降低至1元/百万tokens。 5月15日，火山引擎宣布，豆包Pro 32k模型定价是0.0008元/千tokens，这个价格比行业降低了99.3%。此外，豆包Pro 128k模型定价是0.005元/千tokens。 5月21日，阿里云宣布，通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，直降97%。这意味着，1块钱可以买200万tokens，相当于5本《新华字典》的文字量。这款模型最高支持1000万tokens长文本输入，降价后约为GPT-4价格的1/400。 5月21日，阿里云智能集团资深副总裁、公共云事业部总裁刘伟光表示：“作为中国第一大云计算公司，阿里云这次大幅降低大模型推理价格，就是希望加速AI应用的爆发。我们预计未来大模型API的调用量会有成千上万倍的增长。” 刘伟光认为，不管是开源模型还是商业化模型，公共云+API将成为企业使用大模型的主流方式，主要有三点原因：一是公共云的技术红利和规模效应，带来成本和性能优势；二是云上更方便进行多模型调用，并提供企业级的数据安全保障；三是云厂商天然的开放性，能为开发者提供最丰富的模型和工具链。