牛津大学、DeepMind研究人员：超级人工智能很可能威胁人类生存

牛津大学和谷歌人工智能部门 DeepMind 的研究人员声称，高级形式的人工智能很有可能“对地球上的生命构成威胁”。

在他们合著的一篇发表于同行评审期刊 AI Magazine 的论文中，研究人员警告称，如果某些人工智能体的发展继续下去，将会产生“灾难性后果”。

该论文提出一个场景，人工智能为了获得预先编程时所设置的奖励，可能会发展出作弊策略。实验认为人类最终会与人工智能争夺资源。

“在我们已确定的条件下，我们得出的结论比以往发表的任何文章都要确凿得多——‘生存灾难’不仅可能发生，而是很有可能。”来自牛津大学的论文合著者科恩此前在推特上写道。“这些可能性，尽管是理论上的，都意味着我们在开发更强大的人工智能上，步调应该放缓。”

DeepMind 已经提出针对这种可能性的保护措施。在 2016 年题为“安全中断代理”的论文中，该公司勾勒了一个框架，用于防止高级机器忽略关闭命令，成为失控的流氓代理。