专访蚂蚁集团大模型数据安全总监杨小芳：AI安全与创新发展不是对立的，而是互相成就

随着生成式AI（人工智能）技术飞速发展，AI在数据分析、智能交互、效率提升等多个领域展现出巨大的应用潜力，为解决复杂问题提供了新思路和新方法。但与此同时，这些技术所引发的安全性问题也变得愈发突出。

近一段时间以来，AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3“不听人类指令，拒绝自动关闭”等相关新闻相继冲上热搜，引起社会高度关注。这些事件不仅凸显了AI技术可能带来的风险，也引发人们对技术滥用、伦理道德、隐私保护以及安全风险的广泛讨论。

AI技术安全性究竟存在哪些隐患？目前主要的防护策略是什么？企业应怎样应对大模型数据安全领域风险？行业标准又能发挥怎样的作用？带着一系列问题，《每日经济新闻》记者（以下简称NBD）电话专访了大模型安全行业专家、蚂蚁集团大模型数据安全总监杨小芳。

作为在人工智能安全领域深耕多年的专家，杨小芳深入阐释了当前AI技术的安全现状以及未来发展方向。她指出，随着AI技术逐步应用，数据隐私、安全攻击门槛降低、生成式内容滥用、AI内生安全不足等风险正逐渐从理论走向实际。对于正在引入和使用AI技术的企业，建议做好远期部署准备，加速内部安全制度、流程、检测及防御技术的建设和发展。

谈及技术创新与风险防范该如何平衡，杨小芳强调，AI安全与创新发展并非对立，而是互相成就。她介绍，面对AI安全的风险和挑战，蚂蚁集团正高度关注AI的安全可信。“就像骑马需要抓牢缰绳，我们用可信AI这一‘缰绳’，来提升驾驭大模型这匹‘马’的能力，用AI来守护AI。”

大模型安全行业专家、蚂蚁集团大模型数据安全总监杨小芳 受访者供图

AI内生安全不足的挑战长期存在

NBD：目前，我国乃至全球AI安全面临着哪些共同挑战？

杨小芳：AI大模型刚出现时，大家更多关注的是模型生成内容的风险，但随着AI技术的逐步应用，风险也逐渐从理论走向实际，需要我们从多个角度进行关注和审视。

第一是数据隐私风险。比如，训练数据透明度不足，可能会引发版权问题，这个问题亟待解决。另外，随着大模型被赋予调用各种线上服务的能力，AI Agent（智能体）应运而生，但可能会越权访问用户数据。比如原本用户只能访问本人的基本信息或账单，但由于服务权限配置不当或安全性不足，可能会使得恶意用户可以访问其他人的账单等敏感信息。

第二是安全攻击门槛降低的问题。过去，黑客攻击被视为一种技术密集型的安全技术，但大模型的发展带来了“智力平权化”，人们可以通过自然语言指挥大模型执行攻击指令。加上AI技术快速商业化和安全投入滞后的矛盾，进一步加大了AI安全攻防对抗的难度。

第三是生成式人工智能（AIGC）滥用的社会影响。现在大家常从媒体上看到深度伪造、假新闻以及利用AI制造网络攻击工具等信息。这些行为可能导致诈骗、网络攻击甚至扰乱社会舆论，这些都是AI滥用所带来的风险。

第四是AI内生安全不足带来的行业挑战。AI内生安全不足是一个长期存在的挑战，不仅影响AI技术的可靠性和可信度，还可能对相关行业的稳定和发展造成长期的负面影响。我们已经看到许多案例，AI可能会捏造事实或者提供错误信息，随着AI在医疗、金融、科研等特定领域的广泛应用，这种“AI幻觉”可能会导致决策误导、信任受损等问题。此外，AI可解释性不足也可能引发决策偏见和失控等问题。

NBD：针对大模型可能引发的数据泄露风险，目前主要的防护策略是什么？

杨小芳：无论是在AI还是非AI领域，防范数据泄露风险的核心策略是全生命周期的数据保护，贯穿从采集、传输、存储、使用到销毁的全过程。在AI领域，这一概念具体映射到模型的引入、训练、微调以及智能体的开发、发布和运行等环节。

比如，在引入训练数据时，需对数据进行扫描，去除其中的敏感信息，并对数据来源进行标识，以便于后续溯源；引入开源模型时，必须进行供应链漏洞检测，以避免模型中存在后门，防止因模型漏洞导致远程操控或数据泄露。

在智能体发布前，需进行全面的安全攻击测试，避免用户信息被窃取；智能体运行过程中，也需要持续进行风险监测与对抗，及时发现并阻断数据泄露和攻击行为。

NBD：从现有的防护策略或手段看，是否还存在未被充分解决的盲区或挑战？

杨小芳：要说盲区和挑战，主要在于供应链和生态风险，以及多智能体协作风险。

AI供应链包括算力、模型、数据、MCP（模型上下文协议）服务等，涉及很多参与者，而且现在开源组件用得特别多，这就增加了安全漏洞或钻空子的可能性。

另外，与传统的软件开发相比，智能体开发具有“低代码”、快速发布的特点。例如，通过蚂蚁集团推出的支付宝百宝箱，普通用户只需要简单拖拽和配置，最快可以在1分钟内完成一个智能体的创建和部署，所以现在新智能体的增长速度是非常惊人的。但同时，智能体开发及运营的生态成熟度还不足，治理较为滞后，使得安全风险变大。比如，如果有恶意智能体诱导用户去访问钓鱼网站，治理又处于真空期，那么用户的敏感信息很可能被偷走。

随着多智能体系统的广泛应用，多智能体协作也是现在发展的一个重点。不同公司开发的智能体各自运行不同的策略，跨智能体协作时需要共享意图数据、分派任务。当前智能体大多为各自独立开发，这带来了新的问题：如何确保智能体的可信性？如果缺乏可信认证机制，恶意智能体可能会通过伪造身份加入协作链，导致用户需求被篡改或个人信息被窃取。

NBD：在构建和维护整个生态系统或协作过程中，治理主体的角色和责任如何界定？是否有相应的责任分配和约束机制来确保治理的有效性和公平性？

杨小芳：在允许多方甚至C端（个人用户端）用户开发智能体的平台环境中，平台方无疑是能够实施一线管控和治理的关键主体。

平台方提供了大模型服务、插件工具等基础架构，使得普通用户能够基于其平台构建智能体。因此，平台方具备充分的权限对在其平台上开发的智能体进行扫描和治理。可以说，平台方是能够开展诸多治理工作的首要主体。

但是，平台方只能管控在自身平台上开发的智能体，而在实际应用中，还存在大量跨平台的服务，所以治理工作也不能仅依赖于平台方的自律，还需要政府或监管层面的介入，需要国家层面的标准以及监管政策来监控、监督和约束平台发展。这与小程序的监管类似，尽管各家企业都有自己的小程序平台，但监管方仍会制定标准和监管指令，以更好地约束和治理小程序生态。

AI风险控制不应“一刀切”

NBD：在大模型数据安全领域，当前最需要关注的风险点是什么？企业和行业应该如何未雨绸缪？

杨小芳：我觉得，当前需要关注的风险主要有三点：

一是多样化的AI服务安全“水位”不一致。比如，大量传统业务服务包装为大模型可调用的工具后，原服务的安全加固可能失效，这个需要特别关注。

二是企业内数据流转控制经受挑战。比如，原内部知识库的权限管控在挂载到智能体后可能失效，导致原来只能特定部门访问的文档库变成对所有人可见。

三是新型大模型安全攻击。比如，利用大模型指令遵从特性，针对AI服务开展新型安全攻击、窃取用户数据或造成服务不可用。

对于一般企业来说，做好安全工作，可能并不是买一个安全产品，安装后立马“包治百病”，而是需要有一个“战线”相对较远期的部署，否则很容易就会失效。因此，在快速引入和使用AI技术的同时，企业应加速内部安全制度、流程、检测和防御技术的建设与发展。在安全建设尚未完善的初期，应当加强模型及数据引入的安全审查，并落实AI服务对外开放前的安全测试，以尽可能避免外部攻击或供应链风险带来的直接影响。

NBD：在保护用户隐私的同时，如何确保AI服务的高效性和用户体验？

杨小芳：我觉得这主要涉及两个方面。

第一个方面是风险控制，无论用户体验或效率如何，守住底线一定是基础。这其中又包括两个关键步骤，一是精准定位问题，二是采取有效的管控手段。在定位问题上，我们应追求更精细化的策略，采用更灵活、更柔性的方式，结合用户提问意图来定性风险。另外，管控手段也应更丰富，采用更先进的隐私保护技术，而不是简单地用拦截等“一刀切”的策略。

以用户隐私保护为例，当模型输出中包含个人敏感信息时，传统的风险控制方式可能是直接拦截，但这种做法缺乏精细化。比如，如果用户主动提供个人信息，目的是为了生成个人简历，那么这种信息输出实际上是用户的需求，而非风险。更合理的方式是结合用户提问的意图，来准确判断是否构成风险，并选择不同的处理手段。

第二个方面是如何提升服务的高效性和用户体验。在恰当的场景下，我们不一定需要进行严格的风险控制，而是可以通过服务引导来满足用户需求，让AI服务回归服务用户的目的。

例如，当用户询问如何在某地出行、如何订酒店等问题时，模型可能会根据其训练数据或检索结果提供一些信息。这些信息中可能包含一些营销性质的内容。在这种情况下，与其进行拦截，不如采用更积极的策略，引导用户使用官方服务入口，这种服务引导策略比简单的拦截更能满足用户需求，提升用户体验。

NBD：面对AI带来的挑战和风险，蚂蚁集团是如何应对的？有哪些可供分享的具体实践经验？

杨小芳：针对AI带来的挑战，我们一方面加强科技伦理建设，成立了科技伦理委员会，坚持“平等、尊重、可信、负责”的AI发展原则。另一方面，高度关注AI的安全可信，就像骑马需要抓牢缰绳，我们用可信AI这一“缰绳”，来提升驾驭大模型这匹“马”的能力，用AI来守护AI，确保大模型这匹“马”跑得快、跑得好。

基于这样的理念，蚂蚁集团在2023年研发推出了全风险覆盖、攻防一体的大模型安全解决方案“蚁天鉴”。

“蚁天鉴”包括两套能力。其中一个是大模型安全检测平台，这也是国内第一款实现工业级应用的可信AI检测平台，它可以被理解为“大模型的体检师”，特点是“以攻促防”，实现了以生成式能力检测生成式系统，好比生成式考官考核生成式运动员，背后是左右互搏的对抗学习。

还有一个是大模型风险防御平台，可以理解为“大模型的防护栏”，贯穿于大模型训练应用的全生命周期。在模型训练部署阶段采取内生安全防控，在模型服务阶段提供外置护栏，在AIGC内容传播阶段通过AIGC标识和检测来保障内容在可控范围内传播，并保证内容可追溯、可鉴真。

目前，“蚁天鉴”的检测与防御产品已经开放给了数十家外部机构和企业使用，用来保护通用大模型及医疗、金融、政务等垂直领域行业大模型应用安全。

NBD：在你看来，大模型数据安全应该是一种技术保障，还是一种战略竞争力？

杨小芳：我觉得两者兼而有之。即使在过去数字时代，数据安全也一直具备双重属性，既是技术保障也是战略竞争力。

数据是模型开发的核心要素，显著影响模型输出的质量。同时，数据是智能体重要价值载体，它让模型从理解和规划走向为用户在真实环境中执行任务。无论是强化企业的数据安全性，还是抵御外部攻击、防范数据泄露，技术保障的作用毋庸置疑。所以，大模型数据安全首先是一个重要的技术保障，以实现大模型和智能体的安全可信。

同时，从欧盟的《通用数据保护条例》（GDPR）、美国加州的《加州消费者隐私法案》（CCPA）、中国的数据安全法、个人信息保护法等都可看出，数据安全标准的制定和推广一直是世界各国在数据主权和治理话语权上竞争的重要领域。

去年，新加坡政府发布了《生成式人工智能治理模型框架》，强调了数据在生成式AI中的核心作用，试图主导区域治理规则。在中国，全国网络安全标准化技术委员会也发布了《人工智能安全治理框架》1.0版，强调构建全球共识。AI安全治理框架的建立和影响，包括数据安全治理，这些布局就是打造战略竞争力的一种体现。

行业标准是构建安全生态的基础框架

NBD：你如何看待AI安全的未来发展趋势？

杨小芳：如果看AI安全的未来发展，我觉得主要有三种路径：

一是将安全能力嵌入AI基础设施，打造“出厂即安全”，在应用环节减少对安全的投入。这样有个好处，就是可以用更低的成本去提升大模型内生安全，让大模型自身就能很好地去增强抵御“幻觉”或攻防对抗的能力，从而减少在应用环节的投入。

二是特定安全技术的突破，实现安全技术“拿来即用”，解决中小企业在应用AI技术方面面临的安全风险。比如，在AIGC生成图片、生成视频的时候，嵌入安全可靠的数字水印，就能实现安全溯源。再比如，智能体会用到各种各样的知识库，为避免这些知识产权被窃取，未来可能需要重点去突破专业知识库隐私保护技术，以实现智能体“可用不可见”。

三是AI安全治理，从企业层面到社会层面，都需要开展生成式AI的数据治理。其中需要关注一些核心点，比如提高数据使用的透明度、防范深度伪造以及AI对公众认知带来的危害、健全创新激励与问责机制等。

NBD：在AI安全与创新发展之间，应如何制定动态平衡的决策框架？

杨小芳：AI安全与创新发展不是对立的，而是互相成就。

一方面，安全需要更新对新兴技术的认知，基于新技术进行威胁研判并调整安全防御方式和“水位”，进一步利用AI对抗AI，灵活运用创新技术升级AI安全。例如，在最近的RSAC大会（全球网络安全领域备受关注的年度盛会）上，思科开源了它的安全大模型，这是一个拥有80亿个参数的大型语言模型，专门为安全而构建。应用大模型技术是当下各大企业都在紧锣密鼓开展的工作，包括蚂蚁集团在内，AI可以加速防御，帮助安全在复杂的威胁环境中获得清晰度。

另一方面，安全可信的AI可以促进新兴技术更广泛、快速地应用，从而进一步促进技术的发展，让公众更无后顾之忧。比如，特斯拉利用大量真实行驶数据优化安全功能，降低事故概率，而更高的安全性又能带来更大的用户群，这是相辅相成的。

NBD：你认为未来在推动AI安全发展过程中，行业标准将发挥怎样的作用？

杨小芳：在推动AI安全发展的进程中，行业标准不仅是技术实践的指南，更是构建安全生态的基础框架，重要性不言而喻。

通过统一技术规范、协调多方利益、引导合规创新，行业标准在防范风险、促进技术落地和提升产业竞争力中可以发挥关键作用。此外，制定开源标准，提供测评工具，对于投入有限的中小企业来说，有助于降低它们的门槛，使其以较低的成本快速获取安全知识并提升自身安全水平，从而提升整个生态的安全“水位”。

实际上，近几年，随着大模型AI的兴起，蚂蚁集团也积极参与了AI治理、安全风险管理等领域的国内外标准制定工作。在AI安全标准方面，我们参与制定的AI治理、安全风险管理、科技伦理等国内及国际相关标准共计80余项，已发布30余项。今年在智能体安全方面也将有新的发布。

我们希望通过这些努力，一方面将在实践中行之有效的做法推广到行业内；另一方面，通过输出我们在安全领域的经验，促进行业内形成共识，推动在规范框架下的更高效、更有意义的创新。

封面图片来源：受访者供图