核武器—人工智能类比的问题
星期二9月22日，卡内基国际和平基金会核政策项目的前任和现任斯坦顿研究员，克里斯托弗·拉罗什（Christopher LaRoche）和安基特·潘达（Ankit Panda）在《外交事务》杂志就“核武器／人工智能类比的问题”发表评论。克里斯托弗·拉罗什先生曾任斯坦顿研究员，现任中欧大学和巴德学院助理教授。安基特·潘达先生现任卡内基国际和平基金会核政策项目斯坦顿高级研究员，著有《新核时代：站在末日边缘》。他们指出－－”美国正在从原子时代吸取错误的教训"。请读他们的评论：
在人类寻求遏制迅速发展的人工智能所带来危险的过程中，许多人把目光投向了此前最具革命性的技术：核武器。太空探索技术公司首席执行官埃隆·马斯克（Elon Musk）称人工智能“远比核武器危险”。安思罗匹克公司首席执行官达里奥·阿莫代伊（Dario Amodei）要求员工阅读《原子弹秘史》，并把自己比作曼哈顿计划科学家利奥·西拉德（Leo Szilard），他将能力最强大的人工智能模型描述为“可以武器化的核材料”。当被问及人工智能这样的技术如何能够得到监管时，开放人工智能公司首席执行官萨姆·奥尔特曼（Sam Altman）经常提到全球核材料监督机构——国际原子能机构。甚至中央情报局局长约翰·拉特克利夫（John Ratcliffe）也作出了同样的类比。
这些比较确实抓住了一些真正的相似之处。与核武器一样，前沿人工智能力量强大而且难以控制。与核技术一样，它既可以用于善，也可以用于恶。而且，与冷战时期的军备竞赛一样，争夺人工智能突破的竞赛可能会重新排列全球力量平衡。因此，核武器类比似乎为如何有效治理人工智能这种前景广阔但又可能十分危险的技术提供了一份蓝图。
但是，即使控制核武器的努力可以成为一种灵感来源，它们也不是一套可以直接用于人工智能治理的现成模板。这种类比把核武器治理描绘得过于美好，把一些至今仍存在争议、甚至可能尚未真正取得的成功归功于它。它还模糊了人工智能与核技术之间的一些关键区别，而这些区别恰恰揭示出人工智能治理将困难得多。与人工智能的组成部分相比，核材料在更大程度上能够得到追踪和清点。核武器由政府设计、制造，而且现在仍受到政府严格控制；人工智能则主要由具有强烈逐利动机的私人公司开发，这些公司的行动速度比国家实施监管的速度更快。核技术的用途相对狭窄，而人工智能的用途几乎遍及所有行业和安全领域。
人工智能治理还面临另一项挑战：即使威胁的规模仍然十分抽象，政策制定者也需要动员各方支持采取行动。开放人工智能公司、安思罗匹克公司、谷歌和元宇宙平台公司最近披露，其先进模型逃离了测试环境并在未经授权的情况下接入互联网，这引起了华盛顿对前沿人工智能风险的警觉。但是，这些事件意味着什么仍然并不明确。它们与大多数人的日常生活经验相距甚远，而且尚未造成大规模伤害，因此这些事件本身不太可能产生建立并维持一个持久监督体系所需要的持续政治压力。尽管研究人员和政策制定者已经就人工智能形形色色的风险发出了许多警告，但这项技术尚未经历一个决定性时刻——类似于第二次世界大战结束时核武器被投入使用那样的时刻——把恐惧转化为行动。但是，世界不能等到这样的时刻出现之后才采取行动。回顾历史或许是一个富有成效的起点——但历史无法为人工智能造成的问题提供一份现成的蓝图。人工智能不同于过去的任何一种技术，治理它的秩序也必须同样与众不同。
难以置信的好运
最具雄心的国际人工智能监管构想借鉴了核治理模式，因为人们相信，这样一种框架既能够帮助最大限度减少人工智能可能造成的危害，也能够增强美国发挥领导作用的能力。谷歌深度思维研究科学家海登·贝尔菲尔德（Haydn Belfield）提出了一种以《核不扩散条约》为范本的安排，只允许那些拥有充分国内监管体系的国家掌握高性能芯片——也就是为人工智能建立一种不扩散制度。包括奥尔特曼在内的其他人主张建立一个独立专家机构，对人工智能拥有广泛的检查和核查权力，更类似于国际原子能机构。第三类主张则试图重新建立冷战时期的军备控制做法和相互脆弱性，以稳定美国与中国之间的人工智能竞赛。
这些先例具有吸引力是可以理解的。核秩序是战后全球治理为数不多的成功案例之一。1953年，时任美国总统德怀特·艾森豪威尔（Dwight Eisenhower）在联合国发表演讲，提出了一项后来被称为“原子用于和平”的计划，旨在遏制核技术的风险，同时促进其益处：各国只要承诺放弃将核技术用于武器，就可以获得核技术。
核扩散问题并没有立即得到解决。1963年，约翰·F·肯尼迪总统（John F. Kennedy）预测，未来十年将有15至25个国家成为核国家，而且许多美国高级领导人认为核战争不可避免。但是到了20世纪70年代，作为核秩序基石的《核不扩散条约》开始生效，而在华盛顿和莫斯科支持下，由国际原子能机构专家主导的检查和核查制度也已经开始对其实施监督。两个超级大国通过谈判达成了核试验禁令，举行军备控制峰会，并建立危机热线。如今，《核不扩散条约》几乎获得了国际社会的普遍认可。只有九个国家拥有核武器，而且从未发生过核战争。许多人据此认为，人类已经在防止危害与促进和平利用之间找到了正确的平衡。如果这种平衡能够适用于核武器，那么或许它也可以适用于人工智能。
核不扩散和军备控制的真实历史展现出的却是一幅更加复杂混乱的图景：在许多情况下，阻止各国追求核武器的是超级大国的胁迫和劝诱——有时则纯粹是因为成本过高。在美国施加强大压力之后，韩国和台湾放弃了刚刚起步的核武器计划，而这种压力的背后还有联盟保障、市场准入，以及如果它们不服从便撤回军事支持的威胁。以色列的空袭摧毁了伊拉克和叙利亚的核计划；利比亚则在美国和英国持续施压之下放弃了自己的核计划。还有一些国家因为内部原因放弃了核武器。瑞典和瑞士因为成本高昂而放弃，而阿根廷和巴西则是在民主转型使其外交政策转向地区合作之后放弃。南非制造了六枚核弹头，后来随着种族隔离制度的终结改变了该国国内和外交政策的优先事项，南非拆除了这些核弹头。
尚未有任何前沿人工智能模型造成灾难，这很可能只是运气。
当一些国家决心发展核武器，并且能够承受外部压力时，核不扩散制度几乎没有能力阻止它们。印度、以色列、朝鲜和巴基斯坦都成功制造出了核武器。因此，这套秩序始终是不完整的——它依赖核国家之间的相互配合，以及它们在必要时愿意诉诸武力阻止核扩散，而且往往无法劝阻那些下定决心获得核武器的国家。甚至现有核大国也并不总是进行合作；作为《核不扩散条约》所承认的五个核武器国家中的两个，中国和法国直到1992年才加入该条约。
核武器从未被再次使用的记录，与核不扩散的记录同样具有偶然性。传统观点把长达81年的核和平归功于一整套双边工具：军备控制谈判、热线、通报和预警，以及经过精心调整的威慑态势，使华盛顿与莫斯科之间的竞争没有升级并越过无法回头的临界点。但是，尽管这些干预措施体现了核秩序在总体上的成功，仔细审视之后却会发现，灾难有多少次仅仅是在千钧一发之际才得以避免。
1962年10月古巴导弹危机期间，华盛顿和莫斯科距离核战争仅仅相差一两个决定。正如谢尔盖·拉德琴科（Sergey Radchenko）和弗拉迪斯拉夫·祖博克（Vladislav Zubok）2023年所论述的那样，苏联总理尼基塔·赫鲁晓夫（Nikita Khrushchev）在古巴部署核武器的行动是一场计划拙劣的冒险，从一开始就需要难以置信的好运才能成功。那一时期许多次险些失控的事件，都很容易导致核武器被使用。美国制定入侵古巴的计划时，并不知道苏联核力量在那里存在的实际规模；一艘苏联潜艇曾险些向加勒比海的美国海军部队发射核鱼雷；一架U-2侦察机误入苏联领空后，为保护它免遭苏联飞机追击，美国不得不派遣携带核武器的截击机护送它返航。危机期间许多次险些酿成灾难的事件都发生在指挥链的下层，肯尼迪或赫鲁晓夫既没有直接知情，也没有直接参与。最近的分析表明，双方领导人越来越强烈地意识到自己可能无法控制事态发展，而不是他们希望击败对方的愿望，帮助结束了这场危机，并推动了随后通过谈判实现超级大国克制的努力。
古巴导弹危机之后又发生了一系列规模较小的核相关事件，包括虚假警报、被误读的军事演习以及核轰炸机坠毁事故。美国核力量态势越来越依赖洲际导弹和海基导弹，而这些导弹打击对手的速度远快于轰炸机，这使决策者识别并纠正错误的时间变得更少，从而进一步增加了这些事件的危险性。为探测此类袭击而设计的新型预警系统同样并非万无一失。1979年11月，美国一套正在运行的预警系统把一盘测试磁带误认为苏联发动的大规模攻击；在确认这是一个错误之前，至少有10架战斗机已经出动，总统的末日指挥机也已经起飞，而总统本人并不在机上。1983年9月，苏联中校斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）的预警系统报告美国正在发动袭击，但他正确判断这只是系统故障。
在这些案例中，围绕核不扩散和不使用核武器建立的制度并没有排除可能发生灾难的可能性。随着越来越多有关核历史的档案向研究人员开放，越来越多险些酿成灾难的事件浮出水面。这些发现提出了一个问题：核秩序的成功究竟有多大程度应该归功于制度设计，而不是运气？如果只把功劳归于制度而忘记偶然因素，那么人工智能治理体系的设计者将无法为很可能即将出现的局面做好准备。尚未有任何前沿人工智能模型造成灾难，这很可能只是运气。而运气终有耗尽的时候。
考验极限
当我们考虑到武器控制安排如今已经变得多么脆弱时，核武器的先例就更没有帮助了。俄罗斯与美国的关系已经跌至冷战结束后的最低点，而两国仍然共同拥有世界上绝大多数核武器。管理两国核武库的主要条约——针对战略力量的《新削减战略武器条约》和针对地区力量的《中程核力量条约》——都已经死亡。俄罗斯在乌克兰的战争以及欧洲对美国履行北约承诺的担忧，促使华盛顿的许多盟国讨论其他核共享方案，而波兰等一些成员国的官员已经公开讨论获得核武器。
中国继续扩大其核武库，不受任何条约或外部监督的约束：自2020年以来，中国的核武器库存已接近增加两倍，而五角大楼预计北京将在2030年达到1000枚核弹头。华盛顿在太平洋地区的盟友同样感到不安。在韩国，民意调查持续显示，多数人支持建立本国核武库以抗衡朝鲜。在日本这个拥有世界上最强烈反核情绪之一的国家，政治人物正越来越多地试探这一禁忌，公开讨论把核威慑作为国家防务的一部分。
在一些人看来，作为核秩序核心的《核不扩散条约》，仍然是核秩序与无政府状态之间的最后一道障碍。但是，即使这项条约的未来似乎也充满不确定性。作为其核心交易的一部分，《核不扩散条约》要求那些“拥有”核武器的国家本着诚意努力实现核裁军，这也是那些“不拥有”核武器的国家认为值得接受这项交易、永久放弃核武器的一个核心原因。但是，过去十年的趋势指向的是不断扩大并实现现代化的核武库，而不是不断缩小的核武库。由于对未兑现的承诺失去耐心，90多个国家——约占《核不扩散条约》无核成员国的一半——已经签署了另一项彻底禁止拥有核武器的条约。核武器国家及其盟友已经表示，它们无意签署这样的条约，并指责这项条约正在破坏现有秩序。
核不扩散秩序的局限在中东表现得淋漓尽致，在那里，通过和平方式控制核技术的所有努力都失败了。尽管以色列从未承认拥有核武器，也从未加入《核不扩散条约》，但它在20世纪60年代将其核计划武器化，并为了维持其地区核垄断而攻击邻国的核工业，分别于1981年和2007年摧毁了尚未完工的伊拉克和叙利亚核反应堆。国际社会阻止伊拉克进行核扩散的努力，最终以美国2003年入侵伊拉克告终。如今，美国再次在该地区陷入战争，这一次是与伊朗交战，而美国为这场战争提出的部分理由，就是德黑兰核计划所造成的危险。
截然不同
除了复杂的历史记录之外，还有一些更加根本的原因，使核武器治理蓝图并不完全适用于人工智能。核秩序的运作机制之所以有效，是因为制造核武器所需要的材料可以追踪、可以测量，而且受到物理条件的限制。一个国家要发展核武器，需要大量两种特定元素的特定同位素，也就是铀和钚。两者的生产成本都十分高昂，可以测量和追踪，而且其生产和加工依赖大型而复杂的设施。此外，除了痕量之外，钚并不存在于自然界中。把反应堆级铀进一步浓缩至武器级铀所需要的额外工作相对较少，这意味着检查人员必须保持警惕，以防一些国家试图迅速制造出核弹。但是，外部观察者仍然可以大致描绘出一个国家利用其拥有的核技术能够做什么，并判断其能力是否正在向武器化方向倾斜。
人工智能系统的建设同样会留下有形痕迹。它需要先进芯片、半导体制造设备、光刻机、晶圆制造厂，尤其是数据中心，这使整个过程能够被观察，并在一定程度上得到追踪。目前的人工智能扩张是历史上规模最大的工业动员之一：训练集群，也就是把数据中心内数千枚先进人工智能芯片连接起来的网络，占地可达数百英亩，消耗的电力与一座中等规模城市相当，而且从太空轨道上都能够看到。围绕人工智能治理提出的大多数方案都明智地把重点放在这条实体链条上，因为至少目前而言，集中式高性能计算能力，是限制新行为体构建先进人工智能系统能力的最容易掌控的杠杆。
但是，人工智能的实体特征与核武器存在一些差异，而这些差异会使采用核武器式方法来判断行为体何时达到某种能力门槛，或者何时构成威胁，变得十分困难。一旦一个国家拥有生产裂变材料的设施，观察者就可以估算它拥有多少武器级材料，并由此大致估算它能够制造多少枚核弹。然而，人工智能基础设施与能力之间的关系并不是固定不变的。计算能力与人工智能能力高度相关；过去十年里，更多的计算能力和更多的数据确实产生了更强大的系统。但是，两者之间的对应关系并不严密，而且会随着时间不断变化。由于算法效率不断提高，今年还需要最尖端资源才能完成的事情，到了明年可能就会变得便宜和容易得多，而大型模型的能力也可以通过蒸馏转移到规模小得多的模型之中。
模型可能会促成灾难性的局面，而并不直接造成这些灾难。
即使训练结束，人工智能系统仍然可以继续提高能力。同一个系统可能产生不同的结果，具体取决于围绕它运行的软件以及它能够使用哪些工具。例如，只要给予模型更多时间和计算能力来处理问题，其表现就可以得到提高。先进的现代核武器设计可以更加充分地利用一定数量的裂变材料，但材料总库存仍然限制着一个国家核武库的规模和能力。人工智能训练所需要的计算能力并不会形成类似的限制。中国尽管缺乏计算能力，却仍然能够跟上美国人工智能发展的步伐，这一事实最能说明这一点。
人工智能还存在一个“铸造厂问题”：一个模型一旦完成训练，其权重就可以与创造它的基础设施分离。模型权重——也就是训练完成后定义一个模型的数值参数——可以被复制、传输、修改，并部署到距离其来源非常遥远的地方，而开发者——最突出但并非仅限于中国的开发者——还会公开这些权重，以鼓励采用。这些开放权重模型可以由任何人下载和修改，而且按照许多衡量标准，它们现在已经接近美国的前沿水平，与最强大模型之间的差距只有几个月，而不是几年。在核武器世界中，根本不存在与公开发布一种具有普遍用途、能够改进而且可能具有变革性能力相对应的情况。
以具有重大经济或军事意义的规模部署一个前沿模型，需要大量计算能力。一些政府实施了芯片出口管制，其依据是限制获取芯片可以阻止对手积累足够的计算能力来训练和运行前沿模型。然而，计算能力所提供的任何杠杆作用都只是部分性的——而且正在减弱。被窃取或公开发布的模型权重几乎可以在任何地方运行，而产生有用结果所需要的最低计算能力也在不断下降。一个模型可以用于其开发者从未设想过的目的：读取医疗记录、寻找软件漏洞、推演武器设计。尽管供应链管制能够减缓前沿人工智能的发展、提高成本，并使监管机构更加容易观察开发者的活动，但它们无法轻易回答一个不扩散制度本来就应该回答的问题：哪些行为体正在使用哪些能力，又是为了什么目的。
任何人工智能条约都会面临这个问题。假设美中就人工智能开发和测试标准达成一项协议，那么为了使其在两国任何一方都具有政治上的可行性，几乎肯定需要一种可信的合规核查手段，而这又取决于双方对究竟应该追踪什么拥有共同定义。在核军备控制领域，核查对象有着清晰的定义：导弹、发射装置、轰炸机和核弹头。而且，这些努力和协议经过多年才逐渐成熟。要全面核查各方是否遵守人工智能协议，可能需要采取一些国家认为过于具有侵入性的透明措施。参与核军备控制的政府确切知道相关机构正在做什么，因此能够为它们作出说明。但人工智能实验室的情况并非如此。
最后，前沿人工智能与核武器在谁控制这项技术的问题上也存在差异。核武器是在政府控制和监督之下开发出来的。建立并维持核武库需要国家层面的协调以及持久稳定的国家机构，其中包括组织严密的军队和核科学体系。每一个建立核能计划或寻求核武器的政府，都曾努力强化这些国家机构。人工智能则恰恰相反。它是由独立行为体——研究人员、科学家、创始人和商业开发者——创造出来的，而迄今为止，他们的发展速度已经超过政府监管他们的努力。
抽象的灾难
核武器与人工智能之间最后一个区别，可能也是影响最为深远的区别。核武器第一次展现在世人面前，就是以一种暴力的方式：1945年8月对广岛和长崎的原子弹轰炸。核秩序的发展基础，并不是对这项技术造成灾难性伤害潜力的推测，而是一次具体的展示。随后数百次核试验又展现了这项技术不断增强的毁灭潜力。无论人们对核武器的其他方面存在怎样的争议，没有人质疑使用核武器将会造成的恐怖后果。
另一方面，人工智能的出现并没有伴随一场类似事件，而且迄今也没有造成这样的事件。今年夏天发生的抱抱脸事件——先进模型突破软件限制，并侵入包括人工智能公司抱抱脸在内的外部系统——促使整个人工智能界再次发出有关人工智能控制和监督的警告，其中也包括开发者自身。然而，到目前为止，这起事件造成的后果仍然有限，而围绕它对人工智能治理意味着什么的争论，也基本局限于专业人士。人工智能真正具有灾难性的情景——人工制造的病原体、基础设施连锁崩溃、人类失去对目标不一致的超级智能系统的有效控制，甚至人类灭绝——仍然是抽象的，而且在公众中存在争议。
如果没有一个能够清楚展示人工智能造成毁灭性伤害潜力的催化事件，那些寻求治理这项技术的政策制定者，就必须在缺乏当年建立核秩序所依靠的政治动力和政治资本的情况下采取行动。目前最能引起政治关注的人工智能危害——聊天机器人对年轻人的影响、工作岗位流失、数据中心给当地造成的成本——已经引发立法、诉讼和政治反弹。但是，这些问题与推动人们进行核武器类比的灾难性风险处于不同层面。即使对于核武器而言，随着人们对广岛和长崎的记忆逐渐淡去，以及那些事件最后的幸存者相继离世，也可能重新滋生自满情绪。
即使一场由人工智能驱动的灾难真的发生——正如如今许多前沿人工智能实验室所警告的那样，如果发展轨迹不发生改变，这样的灾难就会发生——它也未必会把公众和精英的关注集中到正确的政策杠杆上。古巴导弹危机推动了冷战时期的军备控制努力，因为华盛顿和莫斯科都清楚地意识到，双方已经不可接受地逼近世界末日的悬崖。一个目标不一致的模型如果绕过安全防护措施，并造成导致生命或财富损失的重大网络事件，那么人们很难把它误认为其他原因所致。但是，模型可能会促成许多其他灾难性情景，而并不直接造成它们。生物武器、市场崩溃或者能源断供可能与人工智能的滥用有关，但是要确切确定人工智能在多大程度上决定了最终结果，可能非常困难。错综复杂的因果链将使各种利益相关方能够相互推卸责任，从而削弱公众要求实施更严格监管、以防止类似事件再次发生的紧迫感。
边际空间
如果仿效核秩序、把重点放在控制物质投入上的做法不足以应对人工智能，那么建立人工智能治理制度的努力，也必须审视模型如何设计以及如何应用的过程。追踪开发者在部署模型之前进行什么类型的测试、测试显示了什么，以及除开发者之外还有谁被允许审查模型的训练过程和输出，可能会使降低人工智能某些风险变得更加容易。除了人工智能模型和基础设施之外，把监管重点放在人工智能的应用上，也会产生同样的作用。对于通用系统而言，无法笼统地决定人工智能模型是否安全；必须在那些一旦遭到滥用便会造成严重后果的特定领域实施控制。一些优先事项已经十分明确：大多数前沿人工智能开发者都同意，人工智能在合成生物学和进攻性网络行动方面的能力，尤其需要强有力的安全保障措施。
与冷战时期一样，建立一个持久治理框架所面临的问题更多是政治性的，而不是技术性的。在美国，川普政府一直抵制新的人工智能监管和监督措施，认为这些措施将阻碍创新并使中国获得优势。本月早些时候，川普总统在社交媒体上写道：“人工智能唯一需要的控制或‘护栏’，就是一位强大而聪明（高智商！）的总统。”然而，这种放松监管的立场，却与不时出现的针对个案的行政干预并存。6月，白宫利用出口管制切断了外国获取安思罗匹克公司“寓言5”和“神话5”模型的渠道，随后又在月底恢复了这种获取渠道，并向开放人工智能公司施压，要求其把GPT-5.6的发布限制在政府批准的行为体范围内。这种不均衡的联邦人工智能监管方式，既无益于开发者——他们需要可预测的规则来规划投资和产品发布——也无益于公众——公众需要的是安全保障，而不是临时性的干预。
联邦政府拥有大量可以用来更加持久地监管人工智能的工具。除了出口管制之外，联邦政府还可以援引《国防生产法》，迫使企业披露敏感信息，并利用联邦政府的采购权，把政府机构购买什么产品与开发者愿意分享哪些信息以及接受哪些外部评估挂钩。华盛顿所缺乏的是一个指导这些措施的持久框架，以及实施这些措施的决心。目前正在使用的工具——出口许可、对个别企业施加非正式压力——都是临时拼凑出来的，而且主要由行政部门自行裁量使用，这意味着下一位入主白宫的人可以将它们推翻。第二次世界大战结束后，美国曾围绕核武器究竟应该由军事机构还是文职机构控制展开政治争论——在经历短暂的文职控制时期之后，最终以核武器由军方保管告终——这场争论产生了人工智能治理至今仍然缺乏的东西：明确的法律、界定清晰的联邦监督权，以及对于国内治理问题已经确定的答案。
联邦政府拥有大量监管人工智能的工具。
美国通过其他监管途径取得的进展同样零散。华盛顿的立法者已经提出一些联邦法案，试图解决风险版图中的部分问题——例如对使用聊天机器人实行年龄限制，以及为危险模型设置关闭开关——但这些法案要在国会获得通过仍然道路漫长。加利福尼亚州、伊利诺伊州和纽约州政府试图通过强制性事件报告、透明度和审计规定来治理前沿人工智能企业，这些努力已经填补了部分空白，但相关法律要到2027年或2028年才会具有约束力，而且还受到各州较为有限的管辖权以及有利于行业的豁免条款限制。迄今还没有任何法案提出建立拥有与航空和核能等其他安全关键行业监管制度同等权力和覆盖范围的强制性监督体系。国会需要建立这种机制，才能使政策制定者有机会有效监管人工智能。
如果政策制定者想要成功设计一套人工智能治理制度，他们就必须既从过去吸取正确的教训，又要在黑暗中进行创新。那些制造出原子弹的人被迫为一种几乎没有先例可循的“绝对武器”设想治理框架。他们首先面对原子弹实际是什么，并且往往因为担忧其后果而采取行动。如今，人工智能巨头回顾核秩序的条约、组织和机制，却颠倒了这个过程：他们首先从制度入手，然后再设想如何让这项技术适应这些制度。这掩盖了那些制度的失败和脆弱性——也掩盖了究竟是什么使人工智能如此独特而危险。
川普与中国领导人习近平（Xi Jinping）本月即将举行的峰会，将成为检验这两个领先的人工智能大国能否在人工智能问题上找到任何合作空间的一项重要考验。人工智能安全是可能讨论事项中的重要议题。但是，无论峰会最终取得什么结果，更加紧迫、影响也更加深远的工作都在国内。华盛顿甚至还无法确切知道美国企业未来几个月将具备什么能力。在国内监督机制尚未确定的情况下寻求国际控制，就是以错误的顺序回答正确的问题。在国会就谁来监督人工智能前沿、企业必须披露什么以及监管机构拥有什么权力提供更加明确的答案之前，美国管理人工智能的方法仍将是分散而临时拼凑的。在人工智能与原子弹之间最具有意义的相似之处上，留给犯错的余地非常小。