超级智能AI的十大反驳论点

admin

超级智能AI的十大反驳论点

作者：James Bentley
来源：Lesswrong.com
引用：https://www.lesswrong.com/posts/jcHknMyuP5yMhtSYj/top-10-most-compelling-arguments-against-superintelligent-ai

链接至原文：https://mirror.xyz/shanzson.eth/Lrkeh45g_YsV-UVpbdxDoGS7F4PHrNcIB36zLNETn4w

这篇博客可能是我在过去十年中撰写的最重要的文章。最近，罗马·亚姆波尔斯基博士，一位资深的AI安全研究者，曾在伦敦大学任教，他在DOAC节目中表示，他自己曾帮助创造了“AI安全”这个术语，并提出了自我开始研究AI安全以来所见到的最令人信服的反对超级智能AI的论点。

以下是他提出的十大论点，旨在回答一些最紧迫的问题，如——

我们应该构建超级智能AI吗？

我们是否能够永远控制它？

法律能帮助我们阻止AGI和超级智能的风险吗？

释放AGI是否道德？

以下是亚姆波尔斯基博士提出的反对超级智能AI的十大论点，旨在回答上述问题：

1. 我们能否控制超级智能AI？

亚姆波尔斯基博士表示：“在最初的五年里，我一直在努力解决这个问题（AI安全）。我曾坚信我们可以实现这一目标，我们可以创造安全的AI……但随着我对此问题的深入了解，我逐渐意识到，每个组成部分的每一个方程都不是我们可以实际解决的问题。而且，当你越深入地研究——它就像一个分形——你进入其中，你会找到10个更多的问题……然后100个更多的问题。所有这些问题不仅困难，而且根本无法解决。”

“创造超级智能的完美安全，永久的持续安全，因为它不断改进、修改、与人类互动……你永远达不到那里。这是不可能的。计算机科学中的困难问题（np完全问题）与不可能解决的问题（np困难问题）之间存在着很大的区别。”

“我认为对超级智能的不确定控制是一个这样的问题……一旦我们确定某件事是不可能的，那么 fewer people will waste that time claiming they can do it and find looking for money。”

“如果我们知道无法使其正确、使其安全，那么仅仅尽可能快地构建它的直接路径就是自杀任务。希望越来越少的人会追求这条路。”

亚姆波尔斯基博士挑战任何声称超级智能AI可以无限期控制的人，要求他们向他提供数学证明，或者发表一篇经过同行评审的论文，以证明同一主题。

（以下省略其他论点，因篇幅限制，完整内容请参考原文链接。）