中国工程院院士沈昌祥：完全消除大模型“幻觉”等安全风险较难实现 需强化构建数字经济主动免疫保障体系

中国工程院院士沈昌祥长期从事计算机信息系统、信息安全体系结构、系统软件安全、网络安全等方面的研究工作，有丰富经验和成果。目前担任中央网信办专家咨询委顾问、国家集成电路产业发展专家组成员等职。

近年来，全球重大网络安全事件频发，勒索软件、数据泄露、黑客攻击等层出不穷，且变得更具危害性。与此同时，大数据、云计算、人工智能等信息技术广泛应用在隐私保护、数据安全等方面，也带来了新的风险和挑战。

2024年8月21日，中共中央办公厅、国务院办公厅印发《关于完善市场准入制度的意见》，其中明确提出要优化新业态新领域市场准入环境，聚焦人工智能、自主可信计算、信息安全等新业态新领域，推动生产要素创新性配置，提高准入效率。要实施前沿技术领域创新成果应用转化市场准入环境建设行动，率先推动海陆空全空间智能无人体系应用和标准建设，加快构建绿色能源等领域准入政策体系，积极扩大数字产品市场准入。

随着数字化转型深入推进，如何让更多人共享数字时代的便捷和红利，同时解决好数据安全和隐私保护问题？在《每日经济新闻》创刊20周年之际，围绕相关问题，沈昌祥院士接受了《每日经济新闻》记者（以下简称NBD）的专访。

人工智能应用引发的安全风险已引起全球关注

NBD：大数据时代下，大模型应用越来越广泛，在提高生产力的同时，在安全方面带来了哪些挑战？您认为随着技术发展，这些问题能彻底解决吗？对此应该持有什么样的态度？

沈昌祥：首先需要明确一点，当前很多人对大数据的理解可能存在误区，认为大数据就是海量数据，这并不准确。

实际上，大数据不仅是指数据的海量性，而且是指那些无法用现有软件工具处理的复杂数据集。如果数据能够被现有的数据库处理，或者能够通过软件工具进行挖掘、开发和模型构建，那么这些数据并不属于大数据的范畴。

我们可以将大数据类比为钻石矿，本质是矿源，矿源必须经过开采和冶炼，才能转变为大模型参数。大模型是基于大数据的半成品，为了得到大模型，需要进行学习模型的训练，最终目的是产生人工智能（AI）产品，从而促进社会的数智化。

但是，大模型应用带来的风险也不可忽略。大模型本质上属于深度学习，但在参数的数量上要比深度学习高几个数量级，比如GPT-4（OpenAI为聊天机器人ChatGPT发布的语言模型）的参数规模已经高达1.8万亿。因此，大模型在全面拓展深度学习算法模型能力的同时，也放大了已有的AI安全问题。

最为关键的是，大模型继承了深度学习模型的“黑盒子”特性，再加上高达百亿或千亿的复杂参数与神经网络结构，其内部决策与推理过程常常难以解释，因此埋下了极大的风险隐患。

目前，常见的大模型可能引发的安全风险问题包括隐私信息泄露、侵权问题、可信与伦理问题、被用于恶意目的或攻击等，其中，“幻觉”、偏见和违反当地法律法规及违背风俗习惯、价值观等问题最难以察觉。

我们可以看到，当前，人工智能的应用所引发的安全风险，已经引起全球对生成式AI伦理和安全问题的高度关注。比如与中国《生成式人工智能服务管理办法（征求意见稿）》征求意见几乎同一时期，美国商务部也就相关问责措施正式公开征求意见，包括新人工智能模型在发布前是否应经过认证程序、建立人工智能模型可信度、建立合法性和道德准则相关审查制度等。

随着技术的发展，我们期望能够减少大模型出现“幻觉”、偏见等问题的频次，提高可信度，但是完全消除这些风险是不太可能的，因为安全可信始终是相对的，而不是绝对的。即便实现产品本身安全可信也还是不够的，人在使用新技术新产品过程中的伦理道德也需要强化，因此，加强网络社会治理极为关键，要制定并完善相关法律法规，做好社会层面的保障和服务，确保网络空间的安全和秩序。

NBD：最新数据显示，我国网民规模近11亿人，互联网普及率达78.0%，在数字经济时代，数据作为核心生产要素，数据泄露风险和隐私保护问题成为不容忽视的问题。您认为如何应对个人隐私泄露等安全问题？

沈昌祥：从技术层面来看，可信计算技术广泛应用于国家重要信息系统，例如增值税防伪、彩票防伪、二代居民身份证安全系统等领域，在数据安全与隐私保护层面，可信计算技术可以通过实施端到端的加密策略、严格的完整性验证机制以及精细化的访问控制体系，构建一个全方位动态免疫的数据防护网。

此外，可信计算技术通过构建可信云环境和实施边缘设备的安全管理，提升云计算服务的可信性，以保障用户数据与业务的安全。

但是，隐私保护是系统工程，除了技术，更要从法律层面、治理层面、经营层面来加以解决。

首先，国家要有法律保障，科学合理制定个人隐私保护原则，从国家层面建立这样的保护体系来解决好个人隐私泄露及个人隐私安全保护的问题。其实技术本身是没有好坏之分的，但是使用者道德意识是有区别的，需要从法律层面来约束违法行为。

其次，现在很多重要的个人隐私泄露，主要是企业运行者记录个人身份信息所形成的，有大量个人信息存储在企业端，尤其是在数据收集和使用方面，企业需要找到个人权益保护的方法。但是目前这方面我们还需要不断探索完善，要先解决好诸如数据权利归属难以认定和划分等关键问题。

要构建数字经济主动免疫保障体系

NBD：近年来，我们面临来自网络空间的风险更加复杂，二维码网络钓鱼攻击、勒索软件攻击等持续成为威胁，在您看来，应对网络安全问题的关键是什么？

沈昌祥：计算机网络所面临的威胁大体可分为对网络中信息受到的威胁和对网络中设备受到的威胁。

举例来说，操作员安全配置不当造成的安全可靠缺陷等会对网络设备安全带来威胁，但更为严峻的人为恶意攻击，即蓄意破坏以谋取利益的行为，这种有针对性的攻击遍布网络每个角落，对安全构成极大挑战。此类攻击又可以分为被动攻击和主动攻击，在讨论网络安全时，人们通常关注故障性安全，但往往忽略了系统人为攻击的严重性。

事实上，真正的挑战不仅仅在于黑客攻击、病毒入侵或系统漏洞这些表面现象，根本问题在于计算科学缺少攻防理念、体系结构缺防护部件、重大工程应用缺乏安全服务这三大问题，本质还是计算原理的基础科学技术问题。

具体而言，图灵计算原理在奠定现代计算基础的同时，其设计之初并未融入攻防理念，导致后续构建体系结构的过程中，在追求计算效率与功能集成的同时，缺乏内置的安全防护机体。

由此可以看到，一方面，传统网络安全系统主要是由防火墙、入侵监测和病毒查杀打补丁等组成，这种“封堵查杀”的模式难以应对人为攻击，且容易被攻击者利用。

另一方面，随着科技的进步，尤其是机器人技术、仿生学以及人工智能的迅猛发展，这种技术进步的加速并未自然伴随安全性的同步提升，反而因技术的广泛应用与深入渗透，使得潜在的安全风险成为灭绝风险。

基于这一背景，我认为关键是要构建数字经济主动免疫保障体系，打造安全可信的产业生态。

一方面，信息系统和人体一样，比如人患了癌症，可能手术后没有病症了，但免疫系统仍有排异反应，因此需要从被动防御转为“主动免疫”，从而实现安全可控。主动免疫的原理是在计算的同时进行安全防护，并增加可信密码模块、可信控制平台等形成免疫系统。

另一方面，安全可信就相当于建立起人体免疫系统，能动态实时全方位地进行可信验证，使得存在的缺陷以及漏洞不至于被攻击者所利用。因此需要按照国家网络安全法规、战略和等级保护制度要求，推广安全可信产品和服务，要全面采用自主可信计算的网络产品和服务。

此外，即便产品和服务都具备基本的免疫能力，安全可信，但充分的社会保障和服务体系对提升整体免疫力同样不可或缺。其中，要加快健全完善适应新形势的法律法规体系，制定一批社会急需的条例及规章制度，例如修订和完善网络隐私保护、信息内容安全、打击网络犯罪等法律制度。

NBD：当前我国可信计算体系发展如何？未来要达到哪些目标？

沈昌祥：世界可信计算演进可以分为三个阶段。

在可信1.0阶段，该技术聚焦于提升主机的可靠性，主要面向计算机部件，通过冗余备份的结构设计和容错算法的形态应用，有效增强了系统的故障诊查与容错能力。

随后，可信计算迈入2.0时代，其关注点转向PC单机节点的安全性，采用功能模块化的结构设计，以被动度量的机理为核心，通过可信平台模块（TPM）与可信软件栈（TSS）的结合，实现安全性的初步提升，但串行挂接TPM仍面临侧信道攻击的威胁，曾发生的事件影响了全球数十亿节点的安全。

而目前是以中国为代表的自主可信计算即可信计算3.0时代。相较于国外可信计算被动调用的外挂式体系结构，我国可信计算革命性地开创了自主密码为基础、控制芯片为支柱、双融主板为平台、可信软件为核心、可信连接为纽带、策略管控成体系、安全可信保应用的全新的可信计算体系结构框架。

可信计算3.0经过长期攻关、滚动发展，已经形成了安全可信的系列产品和服务，比如具备可信计算功能的国产CPU（中央处理器）、可信BMC（基板管理控制器,）和智能安全卡，具备可信计算3.0技术的设备等，为构建高等级防护的关键信息基础设施防护打下了物质基础。

需要注意的是，在整个过程中，一定要对最终的系统拥有自主知识产权，保护好自主创新的知识产权及其安全。

我认为未来构建安全可信保障体系要达到“六不”效果的生态：第一是攻击者进不去；第二是即使混入了，也无法获取信息；第三是拿到了信息也看不懂，因为信息是加密的，无法理解其内容；第四是无法进行篡改，勒索无效；第五是即使出现了故障问题，也能及时发现并处理，防止系统崩溃；第六是行为都审计记录在案，即具有不可抵赖性。