图灵奖得主Hinton：超级智能体可能比预想的更快到来

6月10日下午，在2023北京智源大会“AI安全与对齐”专题论坛上，图灵奖得主、“深度学习之父”Geoffrey Hinton在闭幕演讲的最后向与会者发问。

大模型时代，如何确保越发强大和通用的人工智能系统安全可控，且符合人类意图和价值观？这一安全问题又被称为“人机对齐”，或是本世纪人类社会面临的最紧迫和最有意义的科学挑战之一。

Hinton在演讲中指出，他的研究使他相信，超级智能的到来比他想象中更接近，在此过程中，数字智能可能会追求更多控制权，甚至通过“欺骗”控制人类，人类社会也可能会因此面临更多问题。

大型模型目前学习效率低

Hinton介绍，为了能够以更低的能量运行大型语言模型等任务，他开始研究“有限计算”。

这一计算方法可以通过使用模拟硬件更便宜地完成计算任务，但第一个主要问题是，学习过程必须利用其运行的硬件部件的特定模拟特性，而我们并不确切知道这些特性是什么——到目前为止，我们还没有找到一个真正好用的学习方案，可以充分利用模拟属性，但我们有一个可以接受的学习算法，足以很好地学习诸如小规模任务和一些较大任务（如ImageNet），但效果并不太好。

“有限计算”的第二个重大问题是其有限性。当特定的硬件设备失效时，所有学到的知识也会随之丧失，因为知识和硬件细节密切相连。解决这个问题的最佳方案是在硬件设备失效之前，将知识从教师传授给学生。

Hinton和杰夫·迪恩一起研究了“蒸馏”方法，这一方法有一个特殊属性，那就是当训练学生模型使用教师的概率时，训练学生模型以与教师相同的方式进行概括，即通过给错误答案赋予较小的概率来进行概括。那么，一个智能体群体如何共享知识？Hinton表示，事实证明，社区内部的知识共享方式决定了计算过程中的许多其他因素。

使用数字模型和数字智能可以拥有一大群使用完全相同权重的智能体，并以完全相同的方式使用这些权重。这意味着，可以让这些智能体对不同的训练数据片段进行观察和计算，为权重计算出梯度，然后将它们的梯度进行平均。

现在，每个模型都从它所观察到的数据中学习。这意味着，可以通过让不同的模型副本观察不同的数据片段，获得大量的数据观察能力。它们可以通过共享梯度或权重来高效地分享所学的知识。

如果有一个拥有万亿个权重的模型，那意味着每次分享时可以获得数万亿比特的带宽。但这样做的代价是，必须拥有行为完全相同的数字智能体，并且它们以完全相同的方式使用权重。这在制造和运行方面都非常昂贵，无论是成本还是能源消耗方面。

一种替代权重共享的方法是使用“蒸馏”的方法，但这种方式共享知识并不高效。

智能体尚不具备进化能力

Hinton指出，尽管蒸馏的过程很慢，但当它们从我们这里学习时，它们正在学习非常抽象的东西。在过去几千年里，人类对世界的认识有了很多进展。现在，这些数字智能体正在利用的是我们能够用语言表达出来的我们对世界所了解的一切。因此，它们可以捕捉到人类在过去几千年中通过文件记录的所有知识。但每个数字智能体的带宽仍然相当有限，因为它们是通过学习文档来获取知识的。

而如果它们能够通过建模视频等无监督的方式进行学习，那将是非常高效的。而如果它们能够操作物理世界，例如拥有机器手臂等，那也会有所帮助，“但我相信，一旦这些数字智能体开始这样做，它们将能够比人类学习更多，并且学习速度相当快”。

Hinton的观点是，超级智能可能会比过去所认为的发生得更快。而要使数字智能更高效，我们需要允许它们制定一些目标，但这里存在一个明显的问题——拥有更多控制权会使得实现目标变得更容易，但很难想象，我们如何才能阻止数字智能为了实现其它目标而努力获取更多控制权。

一旦数字智能开始追求更多控制权，我们可能会面临更多问题。“这种操作令人感到害怕，因为我也不知道如何来阻止这样的行为发生，所以我希望年轻一代的研究人员，可以找出一些更智能的办法，来阻止这种通过欺骗实现控制的行为。”Hinton说。

Hinton认为，尽管人类在这个问题上目前还没有什么好的解决方案，但好在这些智能物种都是人打造的，而非通过进化迭代而来，这可能是人类目前具备的微弱优势，恰恰是因为没有进化能力，它们才不具备人类的竞争、攻击性的特点。