大模型的核心壁垒是什么？训练和优化过程中有哪些挑战？业界热论大模型与智算力

室外冷风呼啸，室内“热气腾腾”，会场两侧通道和后面全都站满了人……这是2023人工智能计算大会（AICC）分论坛现场的一幕。这场分论坛的主题是“大模型创新”，大模型的火爆可见一斑。

11月29日，以“智算力就是创新力”为主题的2023人工智能计算大会（AICC）在北京召开。本届大会由北京市科委中关村管委会、北京市经济和信息化局、海淀区政府支持，浪潮信息主办。

《每日经济新闻》记者从大会现场获悉，大会重点围绕智算基础设施、大模型创新、自动驾驶创新与应用等话题开设一场主题论坛，六场专题分论坛，近百位政产学研专家现场分享智算产业前沿趋势和创新成果。

中国工程院院士王恩东在致辞中表示，大模型带动生成式人工智能产业迅速发展，给科学探索、技术研发、艺术创作、企业经营等诸多领域都带来了巨大的创新机会，提升大模型智能水平需要提升模型训练的参数量和数据量，这必须要通过更大更好的智算力才能够支撑，从这个意义上可以说智算力就是创新力，当前人工智能产业发展的基础是智算能力。

大模型的通用性是其最核心的能力

目前，国内大模型已超过180个，业界戏称为“百模大战”。如此多的企业都在开发大模型，大模型的核心竞争壁垒到底是什么？是不是每一个行业都需要有自己的大模型？

对此，浪潮信息人工智能软件研发总监吴韶华在接受《每日经济新闻》记者采访时首先分析了Open AI的做法。他提到，Open AI最核心的模型是GPT4，而GPT4是一个基础大模型，没有行业属性，因为Open AI的目标非常明确，就是要做通用智能。

“我们是认可这条路线的，我们认为基础模型是最核心的部分，当模型的能力达到GPT4，就可以把这种具体模型应用到行业场景里，结合行业的数据作进一步微调，或者把行业数据做成知识库，用检索、增强的形式来提升模型的准确度等。”吴韶华说。

在他看来，行业是一个大场景，里面有成百上千个具体的需求点，所以它是基础模型针对行业场景的一种应用。

吴韶华提到，上一轮深度学习兴起时，碎片化场景是AI（人工智能）落地最主要的一个问题，因为当时没有通用模型（基础模型）。当时的模型很多是为了解决具体的分类任务、识别任务。“现在到了大模型阶段，大模型这种通用性是它最核心的能力，只有它的通用能力足够强，才能在行业落地时解决原来碎片化的问题。”

“而所谓的行业模型事实上是大模型在行业场景里面具体的应用。”吴韶华说，因为GPT4在这方面已经给出非常好的例子，它用在bing（必应）搜索里面，就可以支撑bing搜索更好用；在代码里面就可以做出来非常好的编程辅助工具，但它就是一个基础模型。

大模型算法创新非常难

记者在现场了解到，吴韶华团队是国内最早做大模型的团队之一，在大模型还远未如此“疯狂”的2021年9月就曾发布源1.0大模型，近期源2.0大模型又正式对外发布，并且实现了千亿参数的全面开源。

谈及大模型在研发和迭代过程中遇到的挑战，吴韶华直言算法创新非常难。

“GPT4的模型能力逼迫我们不得不去做算法创新。”吴韶华说，想要快速把能力提上去，就要两条腿走路，一条腿是算法，另外一条腿是数据。

从算法创新上来看，要找到一种更合适的算法结构来进行自然语言的学习，挑战非常大。另外，高质量的数据非常难获取。吴韶华讲述，为了获取中文数学数据，团队清洗了从2018年至今约12PB（拍字节）的互联网数据，但仅获取到了约10GB（千兆字节）的数学数据，“投入与收益差异之大一目了然”。

吴韶华坦言，GPT4是闭源的，我们没有东西能够参考。“在这种情况下，我们必须思考一个很重要的问题，就是怎么通过开源快速凝聚起开发者的力量，快速提升我们基础模型的能力。”

近年来全球AI应用率

今年中国智能算力预计增长59.3%

记者了解到，大会上，作为中国AI算力发展“风向标”的《2023-2024年中国人工智能计算力发展评估报告》发布。

报告指出，大模型和生成式人工智能的发展将引发计算范式、产业动量、算力服务格局之变，未来“以应用为导向、系统为核心”将是算力升级的主要路径。2023年，中国通用算力规模预计达到59.3EFLOPS（每秒百亿亿次浮点运算），同比增长8.8%；智能算力预计达到414.1EFLOPS，同比增长59.3%，6.7倍于通用算力增速，其中我国人工智能服务器市场规模预计将达664亿元，同比增长82.5%。

报告公布了中国人工智能城市排名榜单和人工智能行业应用渗透度排名榜单。在城市人工智能算力排行中，北京、杭州、深圳、上海、苏州排名前五，广州、济南、合肥、重庆和成都位居6-10位。

一方面，智算中心的建设是拉动地区实现人工智能发展的重要驱动力，上榜城市均十分重视算力的投入，不断推进人工智能产业的发展；另一方面，人工智能算力排名靠前的城市也是发布大模型数量较多的城市。

在人工智能行业应用渗透度排行中，互联网行业作为生成式人工智能技术应用的主阵地居于首位，电信、政府、金融和制造业位列前五。

封面图片来源：视觉中国-VCG41N1356593648