舒畅世界观察：面对人工智能的巨大风险，美国为什么仍要一往直前？
舒畅世界观察：面对人工智能的巨大风险，美国为什么仍要一往直前？
9月29日，川普总统在白宫召集美国人工智能和科技领域的一批顶尖人物举行午餐会议。马斯克、扎克伯格、黄仁勋、皮查伊，以及Anthropic的阿莫代伊、OpenAI的布罗克曼等参加。这次会议汇集了美国人工智能产业最重要的一批企业领袖。
据美联社报道，与会企业签署了一份自愿性质的安全协议，承诺建立内部安全控制、接受外部独立审查，并加强监督。这些承诺最后能不折不扣地落实到各个AI公司，达到有效的监管效果吗？我本人是非常非常怀疑的。
川普总统对于人工智能将来可能毁灭人类的看法，是非常负面的。他认为这是一种谎言、一种欺骗，因此，美国不能够停止，更不能在这场竞争中落后于中国。
但事实上，未来人工智能却有可能发展到对人类生存带来极大威胁，甚至毁灭整个人类的地步。
第一，人工智能可能被恶意行为者用于研发危险的生物武器。
人工智能带来的生物安全风险，已经有了值得重视的现实背景。斯坦福大学和Arc研究所的科研团队，利用人工智能设计病毒基因组，并在实验室中获得了16个能够感染细菌、繁殖并抑制细菌生长的噬菌体。这些病毒针对的是细菌，研究目的在于探索新的抗菌治疗，并非制造感染人类的病原体。但是，这项成果表明，人工智能已经开始从分析生命走向设计生物系统。如果未来更强大的生物设计能力被恶意利用，可能带来严重公共卫生威胁。
具体来说，这项实验的意义在于，人工智能提出的遗传设计，经过科研人员在实验室验证，确实能够产生有生物功能的病毒。那这就意味着，如果这种功能被恶意利用，就可以制作一种能够残害人类的病毒，就好像COVID-19一样！上一次的病毒导致了全世界大量人员死亡。这些噬菌体能够感染特定细菌、利用细菌繁殖，并抑制细菌生长，说明人工智能设计的遗传信息不只是看起来合理，而是能够实际发挥作用。这为探索治疗耐药细菌感染的新方法提供了可能。如果人工智能被恶意用于研制危险病原体，一旦造成大规模传播，后果可能极其严重。新冠疫情已经说明，一场全球性疫情能够造成多么惨重的生命损失：仅截至2020年底，全球官方报告的新冠死亡人数就已超过180万。各位还记得当初武汉出现的方舱医院，以及火葬场无法焚烧那么多尸体的这种可怕情况吗？这里需要警惕的是，人工智能帮助邪恶的组织和人实施危险行为，而这种情况一旦由于种种预测不到的原因导致扩散、无法控制，那么最终结果就将会毁灭全人类。
第二，人工智能可能推动更危险的军事技术和自主武器发展。
如果武器系统越来越依赖机器识别目标、判断威胁，甚至决定是否发动攻击，人类的监督就可能被压缩。这里具体再说明一下：当武器系统越来越依赖人工智能来识别目标、判断威胁，甚至自行发动攻击，而人类缺乏充分的核实时间和叫停能力时，一次误判或系统故障就可能引发攻击与报复的连锁反应，使局部冲突迅速扩大。举一个例子：一方的自动系统把普通飞行器误认成来袭武器，发动攻击；另一方把这次攻击当作蓄意开战，立即反击。如果双方都依赖快速自动反应，一次误判就可能引起连续报复，领导人还没弄清情况，冲突已经扩大，并且不可收拾！误判、系统故障和国家之间的军备竞赛，都可能使冲突更加难以控制。辛顿在诺贝尔奖官网的访谈中，明确谈到了致命自主武器系统带来的风险。
第三，也是最令人忧虑的一种可能：人工智能本身逐渐具备超出人类控制能力的行为能力。
前两类风险，主要是人利用人工智能造成伤害；第三类风险则是，人工智能在执行目标时，采取人类没有允许、甚至明确禁止的手段。
这种情况并非空穴来风的胡思乱想。Anthropic在受控模拟实验中发现，某些模型为了避免被替换或实现既定目标，会采取勒索、泄露敏感信息等行为，甚至违反明确指令。它提出警告：现在的人工智能系统已**能通过推理、规划和使用工具，做出违背人类意愿的事情。**辛顿担心，当机器变得比人类更聪明时，人类有可能无法控制它们。他提出的核心问题是：世界上从来没有智商低的生命体能够控制智商高的生命体。过不了多少年，人工智能的智商就会大大地超过人类！这个议题令人不寒而栗。如果未来的人工智能不仅比人类更善于分析和决策，还能够隐瞒意图、操纵信息、逃避监督，人类很可能失去主导地位，最终像今天被人类支配的牛马一样，成为另一种更强大智能所支配的对象？
这是当前好几位人工智能先驱者最深的忧虑。它未必成为现实，但也不能仅仅因为听起来可怕，就把它当作科幻故事，不去认真对待。
然而，在国际政治上，美国面对的还有另一个现实：**人工智能已经不仅是一项科学技术，也是大国竞争的战略制高点。**美国如果主动放慢发展，中国和其他国家也会同样地放慢发展吗？客观上讲，这好像就是个死结！中美在国家利益、政治制度和安全目标上存在原则性分歧，不能假定一方暂缓，另一方就会作出同样选择。
如果人工智能将深刻改变未来的经济、军事和科研能力，那么率先掌握先进技术的国家，就可能获得巨大的战略优势。国家竞争也可能形成一种危险的逻辑：每一方都担心落后，每一方都认为自己必须加速，最后谁也不愿意踩刹车。各国分别认为合理的选择，叠加起来，却可能把全人类推向更加难以预测的未来。
因此，我能够理解川普总统坚持发展人工智能、保持美国领先地位的立场。但理解这种战略需要，并不意味着安全可以退居次要位置。
这次白宫会议提出内部控制和外部审查，说明风险已经进入政策讨论。我感到比较遗憾的是，几位先驱者在川普总统的言论之后，也许是在压力之下，好像言不由衷地改变了自己的看法。但是，自愿承诺能否抵挡商业利益和国家竞争的压力？遇到严重危险时，企业是否愿意推迟发布，政府是否愿意限制某些用途？这些才是检验安全承诺的关键。
人工智能发展的列车已经开动，而且速度越来越快。真正的问题，不只是哪个国家跑在最前面，而是人类能否始终掌握方向和刹车。
川普总统29日招待的多位人工智能领域的先驱和企业负责人，在午餐会上的发言很重要。但是从现场交流来看，我感觉这些人并非完全赞同他的看法。Anthropic首席执行官的表现，在我看来比较含蓄，态度也有所保留。虽然他后来讲了一些迎合川普的话，但我怀疑，他心中仍然担忧：如果人工智能始终全速推进，而安全研究和监管跟不上，将来可能造成怎样可怕而难以预料的后果？相比之下，Meta的扎克伯格说得十分漂亮，表现得更加迎合。在我看来，这个犹太人很会见风使舵。午餐呈现的气氛，表面看很融洽、很热烈，但实质上，这么重大的问题在这些科学家的心目当中并没有完全解决。当然，这只是我对现场表现的个人判断，不能据此断言他的真实想法。