面壁智能首席科学家刘知远：提升知识密度是实现高效大模型的方向

大模型也有自己的“摩尔定律”？2024世界人工智能大会期间，深耕端侧大模型的清华大学计算机系长聘副教授、面壁智能首席科学家刘知远分享了他的研究思路：“如果拥有在端侧有限的算力、内存、能耗条件下，将知识浓缩到更小的参数规模中的能力，那么便可探寻大模型的高效成长规律。”

图片来源：每经记者 张韵 摄

在训练大模型之前，刘知远会在“模型沙盒”中做成百上千次演练。他解释道，在小模型上高效寻找最优数据和超参配置，并外推至大模型，可找到一个更高的知识密度，从而带来一个更加高效的模型。

刘知远认为，如果说芯片制程会带来终端算力持续增强，模型制程也将带来模型知识密度的持续增长，那么两者交汇将揭示端侧智能的巨大潜力。因此，大模型时代会拥有自己的“摩尔定律”，即模型知识密度的持续增强。据刘知远观察，模型的知识密度呈现出每8个月提升一倍的规律。

刘知远进一步得出结论，未来高效大模型第一性原理的关键词便是知识密度，也就是每一次计算依托的参数规模所对应的能力消耗。当大模型数据驱动技术方向大致确定，模型的架构、算法、数据等技术方案却仍在高速迭代，因此持续改进模型制程、极致提升知识密度成为行业努力的方向。