每日经济新闻

豆包大模型提出稀疏模型架构,推理成本较MoE最高可降83%

每日经济新闻 2025-02-12 14:45

每经北京2月11日电(记者杨昕怡)豆包大模型团队今日宣布,团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE(混合专家模型)推理时高额的访存问题,推理速度较MoE架构提升2~6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law(规模定律),证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。

版权声明

1本文为《每日经济新闻》原创作品。

2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。

上一篇

港股万科企业短线拉升,现涨超5%

下一篇

券商股尾盘拉升,天风证券涨超6%



分享成功
每日经济新闻客户端
一款点开就不想离开的财经APP 免费下载体验