人类的造物最终取代人类的可怕前景，早已成为现代人心中挥之不去的阴影。
问题是，我们是否能够把“顺从人类”的思想写入人工智能的底层逻辑？
几乎肯定不能。
要注意，想控制一个超出人类理解能力的超级智能，就需要先能够理解它们的思考方式。但这无疑是矛盾的。
研究人员写道：“这是因为超级智能是多方面的，因此有可能动员各种资源来实现人类可能无法理解的目标，更不用说可控了。”
他们的论证方式部分来自于Alan Turing在1936年提出的停机问题。
停机问题就是判断任意一个程序是否能在有限的时间之内结束运行的问题。该问题等价于如下的判定问题：是否存在一个程序P，对于任意输入的程序w，能够判断w会在有限时间内结束或者死循环。
从逻辑上讲，我们无法提前判定一个程序是否能够运行结束或进入死循环。回到AI，在超级智能状态下，为阻止AI伤害人类并破坏世界而编写的任何程序都可能会进入死循环。
“实际上，这使遏制算法无法使用。”德国马克斯-普朗克人类发展研究中心的计算机科学家Iyad Rahwan说。
研究人员说，另一种自我保护的方法是限制超级智能的能力。例如，可以把AI与互联网或某些网络隔离开来。
但是，研究人员指出，如果我们不打算使用AI来解决人类无法解决的问题，那为什么还要创造它呢？限制AI的能力，不如一开始就不研发AI。而如果要推进人工智能，那么我们甚至可能在超级AI出现后，还浑然不知——这就是它的不可理解性。
