法国刘学伟博士

注册日期:2011-07-20
访问总量:1181028次

menu网络日志正文menu

【学伟论道】OpenAI宫斗大戏的深层涵义是什么?


发表时间:+-

       一年以来,人类不断地被OpenAI发布的ChatGPT的新业绩所震惊。118号,该公司公布了它的最新版4.0 Turbo。网上已经有无计其数的公测,大家基本公认,现在的它,已经达到了一个人类全科博士的水平。一年以前,还只是大学本科生的水平呀!    

  1117号到21号,全球的吃瓜群众都兴致勃勃地观看了一场历时五天的该公司内的宫斗大戏。5天之内,剧情反转反转再反转。总之是跌宕起伏,科幻剧的天才编剧,都难有那么大的想象力。

       一、基本剧情

       这里是前奏:

       现在已经清楚,触发这次政变的具体事件,是山姆·奥特曼Sam Altman在事发之前一天16号在一次采访中的讲话,和OpenAI前员工的一封匿名信。

       奥特曼在该采访中透露,该公司数周之前取得的一项重大技术进步。能够推开无知的面纱,推进发现的前沿。他说: “我認為(如果项目完成)這將是我們迄今為止取得的最大进步,也是我们迄今为止所经历的任何重大技术革命中最大的飞跃。”  我们“感觉它更像生物而不是工具。”

       依时间推算,这项进步显然并未出现在118号公布的ChatGPT 4.0 Turbo版本中。

       OpenAI首席技术官米拉·穆拉蒂(Mira Murati22号向员工透露,它就是现在正被热议的Q*(英文念Q star中文Q星)项目。奥特曼的这番讲话和透露这项技术突破的那封匿名信,显然震惊了前董事会,因为他们对公司内部的如此重大发展居然毫不知情

       现在开始正式剧情:

       1117日,这家全球炙手可热的美国硅谷人工智能公司突然间毫无预警地公开发布声明,将CEO山姆·奥特曼直接从公司开掉!同时被罢免的还有董事长兼总裁格雷格·布罗克曼(Greg Brockman)。

       公司给出的理由是:“山姆的离职是董事会经过深思熟虑后做出的决定,董事会认为他在与董事会的沟通中未能始终保持坦诚,妨碍了董事会履行职责的能力。董事会不再相信他有能力继续领导OpenAI。”

       让这个前董事会始料未及的是,奥特曼的离场竟触发了公司几乎全体员工的叛乱。一封由OpenAI全体员工770人中747名即97%的员工签署的“要求山姆回归、彻底改组董事会”的公开信终于将OpenAI的前董事会逼上了绝路。更让人难以置信的是,在信上签名的甚至还包括被人们普遍认为此次地震的始作俑者,公司AI技术灵魂人物Ilya伊尔亚!信中一句话流传甚广:“没有了员工,OpenAI啥也不是。”

       以微软为代表的投资方也马上开始联合对OpenAI施压。20号,微软宣布将接纳奥特曼和所有OpenAI的辞职员工。为了让这家处于AI行业领先地位的公司不至毁掉,除了让步,OpenAI好像别无选择。

       21号,OpenAI的前董事会投降,召回奥特曼继续任CEO,而董事会彻底改组成奥特曼可以接受的模样。这个重组董事会的过程还在继续中。不过有美国的前财长加入新董事会,还让人知道,奥特曼也有妥协,并非加速派(后详)已经一统天下。

       这里是尾声:

       最新动静是,马斯克出面要求:(为了全世界的利益,)OpenAI必须详细解释事变经过,尤其是那个造成全部事端的Q*究竟是何等神圣?新董事会已经成了小组专司此事。全世界都在静候回音。

       二、扩展分析

       媒体上已有无数的文章分析这个举世震惊的剧情,基本意见一致,就是这是一场路线斗争。一方是以前CTO技术总监 IIya为代表的要求AI发展必须与人类整体长远利益无限对齐的超级对齐(Supper Alignment)派(以下简称对齐派)。一派就是以Altman为代表的有效加速派 Effective Acceleration(以下简称加速派)。前者对人工智能可能失控的现实风险充满疑虑,鉴于ChatGPT已经出现越狱迹象,力图不惜一切代价加以控制。后者则坚持认为,ChatGPT现在的发展还完全可控,还可以继续大力发展。

       问题的核心是,如何摆正全人类长远利益和部分人类的眼前利益之间的关系。最大的难点是如何判定那个风险在现实中已经大到什么程度,是不是还真的可控?

       马上要面临的下一个核心技术问题是,人类可不可能给AGI加上思想钢印,让它绝无可能摆脱人类的控制或为人类整体利益服务的宗旨,自行其是。(这个思想钢印的说法来自刘欣慈的著名科幻小说《三体》。面对过于强大的外星文明,那时的科学家把“人类必胜”的意志写进地球军人的基因,不可更改。)应该说 ,当然还有机会。但是,还是没有把握吧?因为很显然,一旦AI进化到比人类聪明太多,我们真的可能完全搞不明白它究竟在做什么。

思想钢印」成真!33位中美科学家最新成果:用光改变大脑认知- 腾讯云开发者社区-腾讯云


       在这场举世瞩目的宫斗中,Ilya似乎仅是一个人,在代表至少是他自己心目中的人类整体长远利益,而奥特曼则代表着四个方面的利益:1OpenAI公司内部几乎全部员工的直接利益。2、以微软为代表的投资方的利益。3ChatGPT如果成功发展成万亿美元级别的超级公司,可以带动起来的至少数百家中小企业的数十万从业人员的直接利益。4、在AI还没有发展到超级智能SI(后详)之前,人类在通用人工智能AGI(后详)阶段可以获得的所有直接眼前利益。

       从这一场具体的战役中看,对齐派真的是一败涂地呀!怎么觉得那个奥特曼就像是AGI甚至SI在人世间行走的代理人(agent)甚至化身/道成肉身(avatar/incarnation)呀?他是不是也太所向披靡了呀?至少在科技界,是不是已经完全没有可以制衡加速派的力量了呀?

       那么人类真的就是毫无招架还手之力了吗?如果AI的进化真的就此进入毫无阻力的疯狂奔跑状态,现在人类似乎就只剩下了最后一道防线,就是国家/政府和国际组织比如联合国了。这方面,人类好似还是有了一些动作。比如,已经召开过以此为主题的若干次国际会议。比如中美这次在旧金山达成的共识之一,就是要建立一个联合委员会来研究此议题。

       但是,笔者感觉,动作还是太慢呀太慢。鉴于实在现实的眼前、部分人的利益和相对肯定是更虚无缥缈的人类整体、长远利益之间的冲突,再加上地缘政治的竞争,这个强力限制AI快速进化的共识很难达成呀!无论是个人还是公司,国家还是阵营,工业还是军事,若非真的看清楚可以让人类灭绝的巨大现实威胁,怎么可能让所有人都放慢步伐?又怎么可能自己自愿裹足而让别人去捷足先登?只要有一方不减速,其它方的减速是不是都会自讨苦吃而失去意义?而当人类看清楚这一点时,恐怕真的是一切都为时太晚。放出魔瓶的妖怪早是已经收不回去,打开了的潘多拉魔盒早已关不上了。

       何况,人工智能作为人类的战略工程,其实耗用资源甚少。你看那个做出AlphaGoDeepMind公司才区区200个员工,现在声威骇世的OpenAI也不就770个员工吗?要想突破,相对还是容易呀!想想地球上有多少大型公司的员工数以十万计呀!

       三、背景介绍,为什么AGI的出现如此重要?

       人工智能分三个等级弱人工智能(Weak AI)强人工智能(Strong AI Artificial General Intelligence AGI通用人工智能)级人工智能(Super AI)

弱人工智能就是在某一个方面可以媲美甚至超越人类能力的人工智能。其实这类人工智能的更准确叫法应该专用人工智能Special AI)。这样的人工智能实在已经是太多。人类现在对这类弱人工智能的依赖已经是无所不在。离了这些弱人工智能,可以说,现代的人类社会一天也玩不下去。(原始部落除外。

强人工智能就是不限于某一个具体行业,能在一般智力上媲美正常人类的人工智能。它的准确称呼的确应当通用人工智能。这个强(通用)人工智能就应当可以完成一个正常人所能做的所有(或大多数非特定的)智力活动。如果配上一个机器人的躯体,它也应当能够(通常会更好地)完成人类所能从事的所有(或大多数非特定的)体力(物理)活动

级人工智能就是远超最聪明的人类(比如爱因斯坦)的聪明程度的人工智能。它可能做的事情,在各种科幻电影中多有描述。大概在电影《终结者3》中描述的那天网就是这种超级人工智能最可能的形态。这个超级人工智能一定是强人工智自行进化然后觉醒(即具有自我意识)而成。从将来那时的现状而言,它已经不能称之为人工智能,虽然在渊源上它显然来自人工智能。因此人们经常把术语中的人工一词删去,仅称级智能(Super Intelligence/SI)

       早在2005年,当代最著名的未来学家,Google公司的技术总监库兹韦尔写了一本十分著名的书名叫《奇点临近》(The Syncularity is Near) ,提出一个发展速度的加速回报定律(law of acceleration return)。说的是,人类社会各方面,尤其是科学技术方面的进化速度在不断加速。经过复杂的测算,他预计人类出现前述强或通用人工智能AGI的最可能时间是2045年。

然后就会出现一个AGI超速进化的黄金时代,直到达成SI未来学家把这个AGI出现到SI出现之间的状况描述为智力爆炸(Explosion of Intelligence)这一派未来学家认为,在这个智力爆炸的过程中,困扰人类千年、万年的绝大多数难题,都将得到解决。比如部分地区的物质匮乏,比如各种各样的健康问题(所有的?疾病),比如最合理优秀的政治制度、世界政府。想想那时的人类有无数的超级爱因斯坦相助,这些问题解决起来,也应当是困难大减根据库兹韦尔测算,依据加速回报定律,这个进化过程大体历时20-30年。

        真正可怕的是,在这个短短的看似极度美好的智力爆炸阶段过去之后,第一个超级智能一旦出现,它有极大的可能在非常短的时间内就会通过互联网接管其它所有的强人工智能。这第一台超级智能机器将拥有绝对的先发战略优势。而且这第一个超级智能好像非常可能是一个独裁者,它不会对其它的强人工智能施行民主,即不会由它们选举产生

        很多人可能还不明白,电脑只要追近了人类,超过那就是一瞬间。有人形象地描述了这个状况:人工智能就像一列火车,它临近时你听到了轰隆隆的声音,你在不断期待着它的到来。它终于到了,一闪而过,随后便远远地把你抛在身后。

       类似的话语,还可以找到一些:

    人工智能出现的意义,在地球的历史上,只有人类的出现能与之相比拟。

       强人工智能将会是人类最后的一项发明创造。此后人类需要的一切都将由它代劳。

       未来属于电脑,不需要我们。” “未来的人类可能就是人工智能豢养的宠物。

       将来的人类科技史很可能会这样记载:2023118号,OpenAI的那场发布会,就是AGI诞生的元年生日。当然也很可能再迟一点,比如那个ChatGPT 5.0Q*发布之日。这个不会迟于最近几年吧?

       现在全世界的人都在瞪大眼睛,等着智力爆炸阶段的到来。它的到来,看来铁定是比库兹韦尔预计的那个大名鼎鼎的2045年奇点要提前了。然后就看人类有多大本事把这个阶段维持得尽可能地长久了。

       人类呀!是不是你真的就还剩20-30年的时光可以当地球的主人了呀?相比之下,地球人之间现在那些各种地缘政治之争,是不是太像大槐安国里的无聊梦境了呀?


浏览(9364)
thumb_up(0)
评论(1)
  • 当前共有1条评论
  • 倩影

    “未来的人类可能就是人工智能豢养的宠物。”


    如果如此,那真得谢天谢地了。更有可能的是AI挑起世界大战,毁灭人类。我刚看了Netflix的Killer Robot。各国在军事领域的AI大战,有点像当年的原子弹,人是比不过机器的,用AI来make killing decision是很有效的,能够赢。但是这样做又很危险,但你不做,别人做,你就会输掉战争。而战争,是没有second place的:不赢就死,战场上没有亚军。所以,早晚一天,AI会打起来,人夹在中间,只有死路一条。


    屏蔽 举报回复