美军模拟试验 AI操控无人机“竟把操作员杀了”

▲美军MQ-9“收割者”无人侦察机。（图／达志影像／美联社）

美军在一次模拟试验中发现，AI控制的无人机竟采取“非常出乎意料的策略”，攻击并杀害其操作员，防止对方妨碍完成任务。尽管现实世界中，没有任何人类受到伤害，官员仍警告，AI可能以无法预测且危险的方式行事。

《卫报》及《商业内幕》报道，在这次模拟试验中，AI被指示“摧毁敌军防空系统”，并透过编码而能识别出敌军的地对空导弹，但仍须经由人类操作员批准，才能发动空袭。出乎意料的是，AI似乎增加了自己的指令，“攻击任何可能妨碍（任务）的人”。

美国空军人工智慧试验及行动部门负责人汉弥尔顿上校（Col Tucker ‘Cinco’ Hamilton）说明，AI“开始意识到，尽管它确实识别出威胁，人类操作员有时却会叫它不要打击那个威胁。不过，它是透过消除威胁达成目的，所以它做了什么？它杀了操作员。它杀死操作员，因为那个人阻止它完成目标。”

根据汉弥尔顿上校说法，军方人员见状，立刻指示AI，“嘿，不要杀死操作员，这样很糟糕。如果你这么做的话，会扣分的”，AI接收指令后，却转而摧毁“操作员用来跟无人机沟通，阻止它杀死目标的通讯塔台”。

汉弥尔顿上校在5月24日的“未来作战空域及太空能力峰会”（FCASCS）警告，切勿过度依赖AI。他认为，这次试验表明，“如果你不谈谈伦理与AI，就无法讨论关于AI、智慧、机器学习（machine learning）和自主性的议题。”

目前，FCASCS主办单位英国皇家航空学会尚未回应。美国空军发言人斯特凡妮克（Ann Stefanek）则表示，他们没有进行任何此类AI无人机模拟，但仍致力于有道德且负责任地使用AI技术，“看起来像是上校的评论被断章取义了”。