舒畅：人工智能发展无法遏制，人工智能安全性研究迫在眉睫

舒畅：人工智能发展无法遏制，人工智能安全性研究迫在眉睫

1945年，人类发明了原子弹，改变了战争的形态；而今天，人类正在创造一种可能比自己更加聪明的新智能。原子弹改变的是战争，而人工智能，尤其是未来的通用人工智能（AGI），则可能改变整个人类文明的发展方向。

最近几年，我越来越相信人工智能先驱杰弗里·辛顿（Geoffrey Hinton）不断发出的警告，并不是危言耸听。

以前我总觉得，人工智能再聪明，也不过是一种工具。它再厉害，只要把电源关掉，或者把网络切断，它还能做什么？

但是，随着我不断阅读有关人工智能发展的资料，我越来越发现，事情可能远没这么简单。

今天，人类面对的已经不是传统的软件，而是正在向通用人工智能（AGI，Artificial General Intelligence）发展的新一代智能系统。所谓通用人工智能，就是它不再局限于某一个专业领域，而是能够像人类一样学习、推理、分析、规划、创造，甚至不断提高自己的能力。

更可怕的是，它学习和进步的速度，可能远远超过任何一个人。

过去，人类发明过许多危险的技术，例如火药、飞机、导弹和原子弹。这些发明都曾经给世界带来巨大的灾难。

但是，它们有一个共同特点：它们始终只是工具，本身没有自己的思想，也没有自己的目标。

原子弹不会决定什么时候发射，导弹不会自己决定攻击谁，一切最终还是由人类控制。

而未来的人工智能，却可能完全不同。

如果有一天，它不仅能够学习，而且能够自主制定计划、自主完成任务，甚至为了实现自己的目标而采取欺骗、隐藏和规避限制的策略，那么它就已经不仅仅是一种工具，而更像是一种新的智能系统。

这里需要强调的是，尽管目前目前仍没有足够的证据表明人工智能已经完全具有、人类才有的自我意识，也没有证据证明他想彻底的摆脱人类的控制,而最终毁灭人类。但是几位人工智能的教父级人物还是认为：随着能力不断增强，它可能越来越善于自我进化，我们完全具有独立的自我意识是对人类未来的发展带来一种难以言明的恐惧——这正是辛顿不断提醒世界关注的问题。

过去几年，大语言模型的发展速度已经远远超出了许多专家原来的预测。今天的人工智能已经能够写文章、编写程序、翻译语言、分析医学影像、设计芯片、进行科学研究，甚至能够帮助机器人完成越来越复杂的工作。

不少研究机构认为，未来十年左右，甚至更早，就有可能出现能力接近甚至超过多数人类专家的通用人工智能。当然，这个时间目前仍存在很大争议，有人认为需要几年，也有人认为可能需要十几年甚至更长时间。但无论具体时间如何，一个共同的事实是：技术发展的速度，远远快于社会建立监管机制的速度。

我以前一直觉得，只要发现人工智能危险，把电源拔掉不就可以了吗？直到最近看到几位教父级人物的担忧才意识到我这种想法过于简单。

如果未来真正出现具有高度自主能力的人工智能，它可能已经能够预测人类的行为，如果当它研判人类准备关闭它的时候，它是否可能提前把自己的程序复制到其他服务器？是否可能利用网络获得更多计算资源？是否可能通过各种方式避免自己的任务被中断？......

这些问题目前仍属于科学研究和安全讨论的范围，并不是已经发生的事实。但正因为无法排除这种可能性，人工智能安全必将成为人工智能下一个最重要的研究方向:

万事预则立,历史告诉我们，人类往往都是在危险真正来临之后，才开始重视风险。核武器如此，气候变化如此，全球性传染病也是如此。如果等到真正出现无法控制的超级人工智能之后，再去讨论如何限制它，也许就已经太晚了。

但是有一点也许毫无疑问，人工智能发展到今天他带来了巨大的好处又或者人类不可能停止对他的进一步的发展做出更大的努力即便是一个国家希望停止下来但是你无法阻止你的敌手对手也会停止下来就像原子弹研发和大批生产造成的严重威胁和完全不必要的负担（不但是经济上而且是整个人类安全整个绿色地球的安全）。

人工智能带来的科技飞跃的转折点已经到来。