对话图灵奖得主、“AI教父”Yoshua Bengio：AI安全不能靠企业“自觉”，防范AI失控需要类似核武器监管的国际条约

如今，人工智能（AI）浪潮正以前所未有的速度重塑世界，随之而来的安全和伦理问题也日益受到关注，如何平衡创新与风险成为了业内关注的焦点。

8月底，AI巨头OpenAI和Anthropic与美国AI安全研究所（AI Safety Institute）达成了一项历史性协议，允许美国政府在其发布全新的重要AI模型之前先进行严格的安全测试。美国AI安全研究所是在拜登政府去年10月发布的首个AI行政命令下成立的，旨在通过新的安全评估、制定公平和公民权利指导方针，以及研究AI对劳动力市场的影响，来管理AI的未来发展。

OpenAI首席执行官萨姆·奥特曼（Sam Altman）称，这一协议的达成是“历史性的重要一步”，体现了行业对安全性和负责任创新的承诺。美国AI安全研究所所长伊丽莎白·凯利（Elizabeth Kelly）表示，这只是一个起点，但却是负责任地管理AI未来的重要里程碑。

针对这两家领先的AI初创公司所达成的协议以及AI领域的安全和未来发展问题，《每日经济新闻》记者专访了图灵奖获得者、被称为“AI教父”的加拿大计算机科学家Yoshua Bengio，进行深入解读。

Yoshua Bengio是深度学习领域的先驱之一，与Geoffrey Hinton和Yann LeCun共同获得了2018年的图灵奖，被业界誉为“深度学习三巨头”。Bengio不仅对前沿技术有着深刻的理解，更对AI的发展方向、潜在风险以及社会影响有着独到的见解。2023年8月，Bengio被任命为联合国技术进步科学顾问委员会成员并担任加拿大高级研究院（CIFAR）AI主席。2024年，Bengio入选《时代》杂志全球100位最具影响力人物年度榜单。 

图片来源：Yoshua Bengio个人网站

确保AI安全须解决两大挑战

NBD：您如何看待最近OpenAI和Anthropic与美国AI安全研究所的合作？这是否会成为AI治理方面的一种更广泛趋势？

Bengio：除OpenAI和Anthropic外，还有其他公司已经承诺与英国政府的AI安全研究所私下分享他们的最新模型。考虑到OpenAI和Anthropic都是美国公司，他们对美国政府采取同样的做法也是理所应当的。

NBD：要确保AI系统的安全开发和部署，尤其是在企业和政府合作的情况下，您认为需要解决哪些最关键的挑战？

Bengio：站在更高的角度看，我们需要解决两个挑战。

首先是技术层面，我们需要开发能够在AGI（通用人工智能，相当于普通人类水平）或ASI（超级人工智能，即超越人类水平）阶段仍然有效的安全技术，包括对危险能力的评估、检测和缓解，以及设计可控且保证安全的AI系统。

其次是政治层面，我们需要全球范围内的协调，以确保所有国家和公司在开发最强大的AI系统时，遵循最佳的安全实践，避免人类失去控制的灾难性后果。并且，要达成最佳的安全和治理协议，以确保某些人不会滥用AGI的力量为自己谋利，而牺牲其他许多人的利益。

NBD：不同地区在监管方式上也会有所不同，在您看来，促进AI治理国际合作的最有效方法是什么？

Bengio：国际协调对于避免未来几年或几十年人类可能面临的两种最危险情况至关重要：一是权力集中于少数人手中，他们将通过控制ASI来控制全人类；二是人类失去对ASI的控制，而ASI的目标是自我保护（这可能与人类目标相冲突并导致人类灭绝），从而危及人类的生存。

为了避免这些情况，必须让世界各地的更多人和政府了解这些风险。我们需要类似于核武器（监管）条约的国际条约。而考虑到各国/地区之间的军事和地缘政治竞争，必须要有足够的验证技术（来证明其危险），促进条约的有效实施，我认为只要专注这方面的发展，这是几年内是可以实现的。

AI安全不能靠企业“自觉”，“AI教父”提出三大关键举措

NBD：您如何看待学术研究对AI治理行业的影响或指导作用？可以采取哪些措施来加强研究与实际实施之间的联系？

Bengio：在AI安全方面，企业之间存在着内在的利益冲突。它们之间竞争激烈，为了生存，它们不得不在安全方面偷工减料，以牺牲公共安全为代价，在商业上取得领先地位。它们有动机隐瞒风险和事故，并拒绝监管。因此，必须有一大批独立学者参与AI安全研究以及前沿AI系统的评估和审计。

NBD：展望未来，在技术快速进步的背景下，您认为有哪些额外的研究或举措可以进一步推进AI的安全和治理？

Bengio：在科学技术层面上，我们需要更好的风险评估方法。例如，能力评估，可以检测前沿人工智能的潜在危险；更好的AI设计方法可以为我们提供一些定量的安全保证（目前我们还没有）；建立硬件化的AI芯片使用跟踪、许可和验证机制，支持国际条约验证。

在治理和政治层面上，全球需要提高对AI风险的认识，尤其是对灾难性风险的认识。应对这些风险的措施应让每个国家的每个人都团结起来，因为我们都是人类，大多数人都希望看到自己的孩子过上好日子，人类继续繁荣昌盛。

另外，全球需要对开发最强大AI系统的AI实验室进行国家监管，引入有关其AI安全计划、工作和事故报告（包括举报人保护）透明度，以及遵守国家和国际AI安全标准的激励措施。

加利福尼亚州提出的SB-1047法案就是一个很好的例子。（注：该法案要求训练模型的公司在部署超过一亿美元成本的大型模型前，进行风险评估。Bengio等一群在计算机领域声名显赫的功勋学者教授们在8月时曾联名签署公开信，对此表示支持。他们声称这项立法是“有效监管这项技术的最低标准”。）

NBD：您刚才提到国际条约，能再具体介绍一下吗？

Bengio：关于AGI发展的国际条约，应该包括几个关键方面。

首先，各国需要强制执行国家层面的监管，尽管各国的具体监管方式可能有所不同，但所有措施都必须以保护公众和全人类免受灾难性风险为基础。

其次，这些条约还应促进全球范围内的财富重新分配，以确保AGI所创造的财富能够惠及各国，特别是低收入和中等收入国家，从而激励它们加入并遵守条约。

与此同时，各国应在AI安全标准和研发方面加强国际合作，以统一和提升全球AI安全水平。

最后，这些条约还应允许像联合国这样的中立全球机构通过远程跟踪和验证技术，对与全球灾难性风险相关的条约执行情况进行监督和核实，以确保全球合作的有效性和公正性。