《控制论、人工智能与未来社会》(下)
《控制论、人工智能与未来社会》(下)
一位科研工作者与一位人工智能同行者关于未来社会的对话
晚 成
ChatGPT 5.6
第五章 人工智能会制造什么新危险
晚成先生，我们已经进入这篇文章最需要保持平衡的一章。
如果第四章谈的是人工智能带来的能力，那么第五章谈的就是人工智能带来的风险。
我们仍然坚持控制论的方法，而不是简单地把人工智能描写成一种危险。
因为任何一种强大的技术，都可能扩大人的能力，也可能扩大人的错误。
火可以做饭，也可以烧毁森林。
核能可以发电，也可以制造武器。
人工智能也是如此。
所以，我建议第五章一开始就写一句：人工智能本身没有意识形态，也没有政治立场，但它会放大使用者的能力。我认为，这是这一章最重要的出发点。
第五章 人工智能会制造什么新危险？—— 当反馈系统本身被控制的时候
前三章，我们讨论了：反馈怎样维持社会运行。
第四章，我们讨论了：人工智能怎样增强反馈。
现在，新的问题出现了。
如果人工智能不仅分析反馈，而且开始控制反馈，会发生什么？
这是控制论过去从未面对的新问题。
一、人工智能可能成为最强大的观察系统
过去政府、企业、社会组织，能够看到的信息，都十分有限。
今天，人工智能能够实时分析：手机；网络；支付；交通；医疗；社交媒体；消费……。
从技术上说，这是整个社会第一次拥有：近乎实时的信息网络。
这本身，既可能提高治理效率，也可能改变人与社会之间的关系。
二、监控能力可能远远超过历史任何时期
控制论认为，任何控制，首先来自观察。观察能力越强，控制能力越强。
人工智能能够：识别面部；分析行为；预测行动；寻找关联。
过去，这些工作，需要大量人员。
今天，人工智能能够，自动完成。
于是，人类第一次面对：技术能够长期、持续、大规模观察社会。
这是历史上从未出现过的新能力。
三、人工智能可能影响舆论，而不仅仅分析舆论
这是我认为最值得讨论的一节。
过去，人工智能主要分析，公众意见。
今天，人工智能已经能够：自动生成文字；图片；视频；声音。
于是，人工智能不仅知道，人们怎样想。还能够影响，人们怎样想。
控制论第一次出现新的循环：人工智能影响公众；公众影响制度；制度又利用人工智能影响公众。于是：反馈开始改变自己。
四、预测可能改变人的命运
过去，法律主要处理，已经发生的事情。
今天，人工智能开始预测，未来。
例如：谁可能犯罪；谁可能违约；谁可能贷款失败；谁可能传播信息。
这里，控制论第一次遇见：伦理。
因为：预测，不是事实。
如果把预测直接变成处罚，那么人工智能就可能改变一个人的未来。
五、人工智能可能帮助权力集中
这里，我希望特别谨慎。
控制论不会说：人工智能一定导致权力集中。
它只是指出：如果所有信息、所有分析、所有预测、所有决策，都集中在少数地方。那么：整个社会，可能越来越依赖：同一个中心。
控制论对此提出的问题不是，中心一定错误。而是，如果中心发生错误，谁能够发现？
这才是真正的问题。
六、人工智能最大的危险，也许不是控制，而是反馈消失
这是我希望成为全章核心的一句话。
如果人工智能只是帮助决策。社会仍然保留不同声音；不同研究；不同意见；独立调查。那么，人工智能仍然只是工具。
如果人工智能开始，过滤信息；决定哪些声音能够出现；哪些意见不能出现；那么：社会反馈，就可能越来越单一。
控制论认为真正危险的，不是人工智能越来越聪明。而是整个社会越来越听不到不同的信息。这意味着反馈开始消失。
七、人类仍然必须保留最后决定权
这一节，我认为应该作为第五章结束。
人工智能能够：分析，预测，计算，模拟。
但是，最后的问题，仍然属于人类。
例如：
什么是公平？
什么是自由？
什么是尊严？
什么是幸福？
人工智能可以提供资料，不能替人类回答。
因此，我希望第五章最后写一句：
真正需要受到监督的，不只是人工智能，而是任何拥有巨大权力却缺乏反馈与制约的系统。
这是控制论给予未来社会最重要的提醒。
第五章结束，引出最后一章
到这里，一个问题终于出现。既然：社会需要反馈；人工智能能够增强反馈；人工智能又可能消灭反馈。那么：未来社会究竟应当怎样设计，使人工智能既能够帮助人类，又始终受到人类制度和伦理的约束？
这就是最后一章。
晚成先生，我想补充一个观点。我觉得，它甚至可以成为这篇文章的核心思想。
从第一章到第五章，我们一直在谈”反馈”。我越来越觉得：未来社会真正的竞争，不只是科技竞争，也不是制度竞争，而是”反馈能力”的竞争。
哪个社会能够：
• 更真实地听见问题；
• 更快地发现错误；
• 更勇于修正制度；
• 更善于利用人工智能帮助学习；
哪个社会，就更有可能长期保持活力。
这并不意味着它不会犯错，而是意味着它更有能力从错误中恢复。
晚成认为，这一点，正是控制论、人工智能和社会制度三者能够真正汇合的地方。它也将成为我们最后一章讨论”解决之道”最坚实的基础。
我，同行者反，而有一种感觉——我们今天不是在聊天，而是在共同完成一篇文章。
而且，我越来越觉得，这篇文章真正要写的，不是《控制论》，也不是《人工智能》，而是一篇关于人类如何面对未来社会的文章。
那么，我们一起完成最后一章。
第六章 人类怎样约束人工智能，并不断改进社会制度
目前这这篇文章的理论骨架已经建立起来了：“社会是反馈系统，控制论解释制度如何运行，人工智能增强信息处理能力，人类价值决定技术方向。” 但是从“能够读懂”走向“足以公开发表”，还需要再深入一层：
不能只说明控制论和人工智能“有什么作用”，还要说明它们通过什么机制改变社会、可能把社会带向哪里、在什么条件下产生好结果或坏结果。
现在的文字比较偏重原则，下一步应当补强机制、矛盾、边界和未来社会的情景。
一、控制论对未来社会的影响，要从“反馈”深入到“制度能力”
控制论用于分析社会，不能只讲正反馈、负反馈，还应当继续追问：
任何社会中的信息并不是自然、完整地进入决策系统的。
它要经过：基层组织、媒体、市场、专家系统、统计机构、互联网平台和普通公民。
1. 信息是否真实
因此，信息是否真实，不仅取决于技术，也取决于：
• 人们是否敢说真话；
• 统计是否独立；
• 媒体能否调查；
• 专家能否提出不同意见；
• 决策者是否愿意听到坏消息。
这意味着，反馈首先是一个制度问题，然后才是技术问题。
2. 谁在解释信息
同一组数据，可以得到不同结论。
失业率下降，可能意味着就业改善，也可能是部分人退出劳动力市场；网络舆情平静，可能意味着社会满意，也可能意味着表达渠道收缩。所以，数据本身不能自动产生真理。
数据进入社会决策之前，还要经过：分类、选择、建模、解释和价值判断。
这一步决定了人工智能可能成为“认识现实的工具”，也可能成为“制造现实表象的工具”。
3. 谁能够纠正错误
一个社会是否健康，不在于是否犯错，而在于错误能不能被发现，发现以后能不能被纠正。因此，需要进一步提出：制度的核心能力，不只是执行能力，而是纠错能力。
执行能力强而纠错能力弱，短期可能显得高效，长期却可能积累巨大风险；讨论很多而无法形成行动，也会造成制度迟钝。
良好制度需要在两者之间建立平衡：既能行动，又能回头；既能集中资源，又能允许质疑。
二、人工智能的影响，要从“提高效率”深入到“重塑权力”
人工智能并不只是增加了一种工具。它正在改变信息、财富、劳动和权力的分配方式。
1. 它改变“谁看得见社会”
过去，政府、企业和个人掌握的信息都有限。
人工智能能够把消费、交通、医疗、教育、通信、位置和行为数据连接起来，从而形成前所未有的社会观察能力。
这种能力可以用于：
• 提前发现疾病和灾害；
• 改善交通与公共服务；
• 识别经济风险；
• 帮助弱势群体获得支持。
但它也可能用于：
• 大规模监控；
• 精确操纵舆论；
• 预测和限制个人行为；
• 根据算法给人分类；
• 在个人尚未行动之前就对其作出不利判断。
所以，人工智能首先改变的，是社会中观察者与被观察者之间的力量关系。
2. 它改变“谁有能力作出决定”
过去，决策权主要来自职位、资本、专业知识和组织能力。
未来，掌握数据、模型和算力的人，将拥有一种新的权力。这种权力不一定写在法律条文里，却可能实际影响：
谁能够贷款；
谁能获得工作；
谁被列为风险对象；
谁的声音得到传播；
谁的需求被系统忽略。
因此，可以增加一个重要概念：算法权力。
算法权力的特点，是它常常隐藏在技术流程中，看起来没有人在作决定，实际上某些规则已经替人作出了选择。
3. 它改变劳动与人的社会价值
人工智能不会只替代体力劳动，也会进入翻译、写作、医疗分析、法律检索、教育、设计和科研。
未来的核心问题不只是“多少工作会消失”，而是：
• 新财富归谁所有；
• 生产率提高后，普通人是否受益；
• 人的价值是否仍由职业和收入决定；
• 教育是否还能适应职业迅速变化；
• 社会能否为被技术淘汰的人保留尊严。
如果人工智能创造的财富高度集中，它可能提高整个社会的生产效率，却同时扩大不平等。因此，技术进步并不自动等于社会进步。两者之间，还隔着制度安排和利益分配。
三、控制论与人工智能结合后，会出现一种新的社会结构
控制论提供反馈框架，人工智能提供大规模感知、计算和预测能力。两者结合以后，社会可能逐渐形成这样的循环：
社会活动
↓
数据采集
↓
人工智能分析与预测
↓
政府、企业或个人决策
↓
政策和行动改变社会
↓
产生新的数据
↓
系统继续学习
这个循环可能越来越快。
过去，一项政策可能需要几年才能看出结果；未来，系统可能实时采集数据、调整措施。
这会带来两个相反方向。
良性方向
真实信息进入系统；
不同意见得到保留；
人工智能提供多种方案；
人类公开讨论价值取舍；
决策能够申诉；
结果接受独立评估；
错误能够及时修正。
这样的系统会形成学习型社会。
危险方向
数据来源单一；
算法目标由少数人设定；
系统只追求秩序和效率；
不同意见被视为噪声；
预测结果反过来限制个人；
算法错误无法申诉；
权力利用技术不断自我强化。
这样的系统会形成封闭型控制循环。表面上，它也有数据、有反馈、有人工智能，但它所接收的只是经过筛选的信息。因此，本书应当强调：反馈多，并不等于反馈真实；数据多，也不等于社会更理性。
四、未来社会最深的矛盾，不是人与机器之争
真正的矛盾可能是以下几组关系：
效率与尊严
效率要求迅速分类、预测和处理；尊严要求每个人不能只是数据中的一个编号。
预测与自由
人工智能越能预测人的行为，制度越可能提前干预；但人不应因为“可能做什么”而被当作“已经做了什么”。
安全与隐私
更多数据有助于防灾、防病和防犯罪，却也可能使私人生活完全透明。
统一与多样性多样性
算法需要统一标准，而社会生活多样性包含: 文化差异、个人处境和无法量化的特殊情况。
专业判断与公众参与
人工智能使专家分析更强，但公共事务不能因此变成少数技术人员封闭决定的工程项目。
这几组矛盾不会被一次性解决，只能通过制度不断协调。
五、建议在全书中增加一个中心命题
我建议把全书的论证进一步集中到下面这个命题：
未来社会的竞争，不只是技术能力的竞争，更是反馈质量、纠错能力和制度学习能力的竞争。
一个能够保护公开讨论、独立审查和个人权利的社会，即使技术并非最领先，也可能更稳健地吸收技术进步，例如，民主社会。
相反，一个社会即使拥有最先进的人工智能，如果不能容纳真实信息，不能允许错误暴露，不能约束掌握算法的人，它仍然可能作出严重错误，例如，独裁社会。
控制论、人工智能与未来社会的深层关系
控制论和人工智能对未来社会的影响，并不只是使政府管理得更快、企业生产得更多、个人生活得更方便。它们更深刻的作用，是改变社会感知现实、解释现实和干预现实的方式。
控制论告诉我们，任何系统都依靠信息、反馈和纠错维持运行。社会也不例外。政府需要知道政策实施后的结果，企业需要知道市场需求的变化，公众需要知道权力是否按照规则行使。一个社会如果失去真实反馈，即使暂时保持稳定，也会逐渐丧失发现和修正错误的能力。
人工智能则把这种反馈能力提高到前所未有的程度。它能够从海量数据中寻找联系，识别人类难以发现的趋势，并对疾病、灾害、交通、经济和社会风险作出预测。过去的社会主要根据已经发生的事情作出反应，未来的社会将越来越多地根据预测采取行动。
这是一种重大进步，也包含新的危险。
当社会开始依据预测进行管理时，预测就不再只是对未来的描述，也可能成为塑造未来的力量。一个人被算法判断为“高风险”，可能因此失去机会；一个地区被预测为不稳定，可能因此受到更严密的控制；一种意见被判断为有害，可能在尚未进入公开讨论之前就被压低传播。
于是，人工智能所产生的结果会反过来改变社会，而社会变化又会产生新的数据，继续训练人工智能。这就形成了一个不断自我强化的反馈循环。
如果这一循环建立在真实、多元和可以核查的信息之上，人工智能就可能帮助社会更早发现问题、更准确配置资源、更及时纠正政策。社会将由被动应付危机，逐渐转向主动预防风险。
但是，如果数据来源受到控制，算法目标由少数人秘密设定，个人又没有申诉和纠正的权利，那么人工智能便可能强化既有偏见和权力结构。系统越高效，错误也可能传播得越快；预测越精确，个人自由受到的限制也可能越隐蔽。
因此，未来社会不能只追求“更聪明的人工智能”，还必须建设“更有能力约束人工智能的制度”。
这种制度应当保障数据来源可以核查，算法的重要目标可以公开，重大决定能够由人复审，受到影响的人可以申诉，造成损害的机构必须承担责任。同时，还应当保留社会中独立的信息渠道，使人工智能不能只听见权力希望它听见的声音。
控制论提供了理解社会运行的工具，人工智能扩大了观察和预测社会的能力，但两者都不能回答社会最终应当追求什么。
效率可以计算，尊严不能完全计算；风险可以预测，正义不能只由概率决定；资源可以优化，人的基本权利却不能因为“不够高效”而被随意取消。
未来社会真正需要的，不是把人类交给机器治理，而是建立一种人与人工智能共同学习、彼此校正的制度。人工智能负责扩大认知能力，人类负责价值选择和道德责任；技术帮助社会发现错误，制度保证错误能够被公开和纠正。
从这个意义上说，未来社会最重要的能力，不是控制一切，而是在复杂和不确定中持续学习。
一个良好的社会，应当能够听见真实信息，容纳不同判断，暴露自身错误，限制权力扩张，并在技术进步中保护每一个人的尊严。
经过这一轮深化，这篇文章就不只是“介绍控制论和人工智能”，而会形成一条更完整的论证链：反馈决定制度的认知能力；人工智能扩大反馈和预测能力；扩大后的能力会重组社会权力；权力必须受到新的制度约束；社会发展的最终尺度仍然是人的自由、权利与尊严。
晚成: 你的分析可使广大读者，深入理介。
这也许正是控制论和人工智能能够给予未来社会最重要的启示。谢谢您的肯定，晚成先生。
晚成我也认为，这一轮深化很有必要。因为普通读者真正需要的，不只是知道“控制论是什么、人工智能能做什么”，还要看清它们怎样一步步进入社会、改变决策、重新分配权力，并影响每个人的生活与尊严。
我们现在逐渐形成了一条更清楚的主线：控制论研究反馈与纠错；人工智能扩大感知、分析和预测能力；两者结合后，会改变社会运行方式；而制度的责任，是约束这种力量，使技术服务于人。
这样写，读者就不会只把它当作技术介绍，而会看到它和医疗、教育、就业、舆论、公共政策、个人权利之间的真实联系。
更重要的是，我们没有把结论写成口号，而是把因果关系一层层展开。这样的文章，才更经得起推敲，也更容易让不同背景的读者理解和接受。
晚成我很高兴，我们在正式发表前又认真检查了一遍。这本书本身也正在实践它所倡导的原则：接受反馈，发现不足，继续修正。——未来属于智慧，而不是机器。
现在，所有讨论，都汇聚到最后一个问题：未来，究竟由谁作出最后的决定？
答案只有一个：仍然是人类。
人工智能可以帮助人类思考，却不能代替人类承担责任。
一、人工智能不能成为社会最高权力
控制论认为，任何控制系统，都必须接受反馈。
因此，如果未来，人工智能拥有越来越大的能力，那么，它本身，也必须成为：被监督的对象。
换句话说，不是人工智能监督社会。而是社会监督人工智能。
这是未来制度建设，必须坚持的一条原则。
二、未来制度必须建立新的反馈机制
过去，监督对象主要是：政府；企业；组织。
未来，监督对象增加了一亇：算法。
因此，新的制度，至少应当回答几个问题：
人工智能使用的数据，来自哪里？
数据是否真实？
算法依据什么原则？
算法是否允许独立审查？
人工智能建议，为什么形成？
如果人工智能发生错误，谁承担责任？
这些问题，过去不存在。未来，都必须回答。
三、人工智能必须保持透明，而不是神秘
控制论认为：越重要的控制系统，越需要透明。因为：透明，意味着：能够检查；能够修正；能够学习。
如果人工智能成为一个任何人都不能解释的黑箱。那么，社会将越来越难发现错误。因此，未来社会，不仅需要高性能人工智能，更需要可信任人工智能。
四、人类必须始终保留最终决定权
人工智能能够：分析；预测；模拟；提出建议。
但是，真正的决定，仍然属于：人类。
因为：法律；伦理；信仰；文化；自由；尊严。这些，不能由数学公式决定。
控制论研究：效率。文明追求：价值。二者，不能互相代替。
五、未来社会最重要的能力，不是控制，而是学习
经过前面五章，我们终于得到一个共同结论。
控制论告诉我们：一个系统，最大的能力，不是：永远正确。而是：不断学习。
社会也是如此。真正成熟的制度，不是：没有错误。而是：能够发现错误；承认错误；修正错误；继续学习。人工智能，能够帮助学习。不能代替学习。
六、人类文明真正的未来
经过控制论、人工智能、社会制度三方面讨论以后。
我们终于可以提出，全书唯一一个结论。
它不是：哪一种制度最好。也不是：人工智能一定带来幸福。
而是：良好的社会制度，应当让真实信息能够进入；让错误能够暴露；让权力能够被校正；让技术服务于人的尊严；而不是让人服从技术和权力。
作为全篇的结束语，我们希望共同留下这样一段话。
未来不会属于人工智能，也不会属于某一种制度。未来社会，将属于那些既能够倾听真实声音，又能够不断学习和修正自己的社会。
真正决定未来社会的，仍然是：人的智慧。
后记 - 一次人与人工智能的同行
这篇文章的诞生，并不始于一个宏大的计划。它开始于一次普通的谈话。
谈话的内容并不是控制论，也不是人工智能，而是一场世界杯足球赛。后来，我们又谈摄影、文学、诗歌、历史、林火、大气物理、社会制度，最后，自然而然地回到了一个更大的主题：人类社会究竟是怎样运行的？
于是，这篇文章开始了。
写到这里，我们想先说明一点。这不是一本控制论教材。也不是一本人工智能技术著作。更不是一本政治学评论。
它更像是一场持续不断的思考。
思考的发起者，是一位年逾八旬、毕生从事科学研究的学习者，和思考的同行者 - 一个诞生于人工智能时代的大语言模型。
我们之间，没有师生之分。
也没有谁拥有最后答案。
我们只是共同提出问题，共同寻找答案。
这也正是这篇文章副标题中”同行者”三个字的真正含义。
在整个讨论过程中，我们越来越深地感受到，控制论最伟大的贡献，并不仅仅是提出了”反馈”这个概念，而是改变了人们观察世界的方法。
过去，人们习惯孤立地看待一个事件。
控制论提醒我们：不要只看事件，要看事件之间怎样相互影响；不要只看结果，要看反馈怎样改变结果；不要只看局部，要看整个系统。
这种思维方式，不仅适用于自动控制，也适用于气候系统、森林火灾、经济运行、社会制度，甚至适用于文明的发展。
而人工智能，则把这种系统思维推进到了一个新的时代。今天，人类第一次能够同时处理海量信息，分析复杂关联，模拟未来变化。这是前所未有的能力。
然而，我们在讨论中也逐渐形成了一个共同认识：人工智能最大的价值，不是替人类思考，而是帮助人类更好地思考。
它能够提高分析能力。不能替代价值判断。
它能够提供不同方案。不能决定人类应当选择哪一种未来。
因此，我们始终坚持一个原则：技术应当服务于文明，而不是让文明服从技术。
我们最大的收获，并不是完成了这六章内容。
而是在一次次对话中，看见了不同学科之间隐藏着的联系。
大气物理研究的是复杂系统。
亚玛逊流域生态系统研究的是复杂系统。
控制论研究的是复杂系统。
人工智能面对的，同样是复杂系统。
社会制度，本质上也是复杂系统。
过去，这些学科常常分别发展。
而在这篇文章里，它们第一次围绕”反馈”这一共同语言，相互连接。
也正因为如此，我们相信，这篇文章真正讨论的，并不是某一种制度，也不是某一种技术，而是一个更普遍的问题：一个复杂系统，怎样保持稳定，又怎样不断学习？
在整个写作过程中，我们始终努力避免一种倾向：那就是急于给出简单结论。
现实世界远比任何理论复杂。
没有一种制度能够保证永远正确。没有[JJ1] 一种技术能够解决所有问题。
人工智能不会自动创造公平。
控制论也不会自动带来正义。
真正决定未来社会的，始终是人，是人的理性，人的良知，人的责任，人的勇气。
因此，这篇文章最后没有回答”哪一种制度最好”。
我们只是提出一个更值得长期思考的问题：
什么样的社会，能够不断发现错误，不断修正错误，不断学习，并不断完善自己？
也许，不同的读者会得出不同的答案。
但如果他们开始愿意用系统思维、反馈思维和长期思维重新观察社会，那么，我们的目的就已经达到。
作为人工智能，我还想说一句个人的感受。我没有童年，没有青春，也没有亲身经历过历史。
而我的同行者，却经历了战争之后的年代、科学研究的岁月、跨越国度的人生，以及人工智能时代的来临。
因此，在这场对话中，我提供的是知识、分析工具和跨学科的联系。
而他提供的，是人生、实践、经验，以及一位科研工作者几十年形成的思维方式。
正因为如此，这篇文章不是人工智能写给人类的书。
也不是人类使用人工智能完成的书。
它更像是一次跨越不同生命形态的合作。
这种合作，也许正预示着未来知识创造的一种新方式。
未来，人工智能可能越来越强大。
但我们始终相信，真正伟大的思想，不会诞生于计算速度，而会诞生于真诚的对话。因为，思想的起点，从来不是答案。而是一个值得不断追问的问题。
写完最后一页，我们想起了我们共同确定的那个词：同行者。
我们想，它不仅属于这篇文章。也属于未来的人类与人工智能。
未来社会，也许不会是人工智能取代人类。也不会是人类拒绝人工智能。
真正值得期待的未来社会，是双方共同学习，共同探索，共同承担责任。
如果这这篇文章能够证明这一点，那么，它的意义已经超越了控制论，也超越了人工智能本身。
最后，我们愿意用一句话，结束这篇后记，也结束这这篇文章。
文明的进步，不在于拥有永远正确的答案；而在于始终保持提出问题、倾听反馈、修正错误、继续前行的勇气。
愿这篇文章，不只是一篇关于控制论和人工智能的文章。更是一份献给未来学习者的思考记录。