或许无法给AI写入“永远顺从人类”的逻辑

煎蛋网 2021-01-19 15:55+-

  人类的造物最终取代人类的可怕前景,早已成为现代人心中挥之不去的阴影。问题是,我们是否能够把“顺从人类”的思想写入人工智能的底层逻辑?

或许无法给AI写入“永远顺从人类”的逻辑

  几乎肯定不能。

  要注意,想控制一个超出人类理解能力的超级智能,就需要先能够理解它们的思考方式。但这无疑是矛盾的。

  研究人员写道:“这是因为超级智能是多方面的,因此有可能动员各种资源来实现人类可能无法理解的目标,更不用说可控了。”

  他们的论证方式部分来自于Alan Turing在1936年提出的停机问题。

  停机问题就是判断任意一个程序是否能在有限的时间之内结束运行的问题。该问题等价于如下的判定问题:是否存在一个程序P,对于任意输入的程序w,能够判断w会在有限时间内结束或者死循环。

  从逻辑上讲,我们无法提前判定一个程序是否能够运行结束或进入死循环。回到AI,在超级智能状态下,为阻止AI伤害人类并破坏世界而编写的任何程序都可能会进入死循环。

  “实际上,这使遏制算法无法使用。”德国马克斯-普朗克人类发展研究中心的计算机科学家Iyad Rahwan说。

  研究人员说,另一种自我保护的方法是限制超级智能的能力。例如,可以把AI与互联网或某些网络隔离开来。

  但是,研究人员指出,如果我们不打算使用AI来解决人类无法解决的问题,那为什么还要创造它呢?限制AI的能力,不如一开始就不研发AI。而如果要推进人工智能,那么我们甚至可能在超级AI出现后,还浑然不知——这就是它的不可理解性。

  该研究已发表在《人工智能研究杂志》上。

  • 最新评论
  • kshdjj

    "人类的造物"?, 原子弹控制软件 , 图形识别声音识别 的软件都是程序员变得。 就是目前世界上唯一能自动生成的软件工具也人(我)设计生成的。深入学习过计算机理论科学的人,都亲自证明过:各类的自动计算机的能力是完全等价的。正像人们不知道”圆周率“ 的 第4959890874587787078470780507507507 位的值是什么 ?但这个值的计算软件,也是程序员(人)编制的。 有不少没有好好深入学习过电脑理论科学的名人包括霍金,都爱重复类似“原子能炸弹会......”。每个科学家的知识是有限的,大都局限于自己的领域,不是所有都精通。

    屏蔽
1