当前人工智能的危机是混淆了思维与意识的区别
当前人工智能的危机是混淆了思维与意识的区别
彭罗斯有一点是对的：意识不是计算。
但这个判断真正重要的地方，并不只是说计算机不能产生意识，而是迫使我们重新提出一个更根本的问题：究竟什么是意识？
今天关于人工智能危机的许多争论，恰恰绕过了这个问题。人们看到人工智能能够推理、计算、写作、编程、翻译、证明数学问题，甚至能够讨论哲学，于是很自然地问：人工智能是不是已经具有意识？将来会不会产生自我意识？会不会最终成为一个超过并控制人类的“超级意识”？
这里可能存在一个最基本的概念错误：
我们把思维（thinking）与意识（consciousness）混为一谈了。
一、计算属于思维，而不等于意识
计算是什么？
计算是在既定规则、符号和关系之间进行转换。从最简单的1+1=2，到复杂的数学证明、程序运行和人工智能推理，它们都具有一个共同特征：存在某种可以操作的结构。
逻辑也是如此。
因此，计算与逻辑属于思维能够进行的活动。今天的人工智能之所以令人震惊，是因为过去被认为只有人才能完成的大量思维活动，现在机器也能够完成，而且在某些方面可以远远超过个人。
但由此不能得出：
能够思维，因此具有意识。
这中间缺少了关键的一步。
一台机器能够处理关于“我”的句子，并不等于它意识到“我”；能够讨论意识，也不等于它具有意识；能够给出关于痛苦的完美描述，也不等于它正在经历痛苦。
关于意识的思维，并不是意识本身。
这正是今天人工智能讨论中最容易被忽略的区别。
二、说意识“不是什么”容易，定义意识“是什么”很难
我们可以说意识不是计算，不是逻辑，不是语言，不是信息处理。
这些都是相对容易的。
真正困难的是：
意识究竟是什么？
这已经不再只是计算机科学问题，也不仅仅是神经科学问题。科学可以研究意识出现时大脑发生了什么，可以测量神经元活动，可以寻找意识与脑状态之间的相关性。
但是相关性仍然没有直接回答：
为什么那里会有一个“意识到”的主体？
因此，意识最终包含一个哲学问题。科学可以不断缩小问题的范围，但“意识是什么”这个定义不能简单地由计算能力本身给出。
三、意识的第一个定义：意识到自我
最通常的意义上，我们可以把意识定义为：
意识到自我。
我不仅看见一棵树，而且知道“我正在看见一棵树”。
我不仅思考一个问题，而且知道“我正在思考这个问题”。
这里已经出现了一个重要的层次差别。
思维可以把树作为对象；意识则可以进一步把“我的思维”本身作为对象。
于是，意识与思维开始分离。
但这仍然不是意识最严格的定义。
四、意识更严格的定义：能够认识到思维不等于意识
真正关键的一步，是一个人能够发现：
我的思维发生在意识之中，但我的意识并不等于我的思维。
当我思考时，我有思想。
当思想停止时，却不能因此简单地说意识也不存在。
更重要的是，我能够观察自己的思想。我可以知道一个念头出现，知道它变化，也知道它消失。
如果意识能够把思维作为对象，那么至少在概念层级上，意识就不能简单地与那个被观察的思维等同起来。
这可以表达为：
思维是意识中的内容，而意识是思维得以被意识到的基础。
这正是人工智能问题真正应该进入的地方。
五、意识的最高阶段：认识到思维的基础就是意识
意识发展的最高阶段，不只是“我意识到我自己”。
它甚至不只是“我知道我正在思维”。
而是：
我认识到思维并不是意识本身，并进一步认识到思维之所以能够成为我的对象，是因为意识在逻辑上先于作为对象的思维。
这是一种反身性的突破。
通常，人生活在自己的思想里面。他不断思考，却很少区分“思维”与“意识到思维”。
就像一个人终生看着世界，却很少注意“看”本身一样。
哲学真正重要的一步，就是把思维本身变成对象。
当思维成为对象的时候，意识才第一次显露出它与思维之间的区别。
因此可以形成三个层次：
第一层：我思维。
第二层：我意识到我在思维。
第三层：我意识到思维并不是意识本身，并认识到意识是思维得以呈现的基础。
第三层才触及意识问题的哲学核心。
六、AI为什么特别容易造成混淆？
因为人工智能恰恰把“思维的外在表现”推到了前所未有的高度。
过去我们判断另一个人是否具有意识，往往依赖他的语言、推理、记忆、表达和行为。
现在人工智能也能够产生这些表现。
于是一个巨大的错觉产生了：
既然它表现得越来越像一个会思维的人，它就一定越来越接近意识。
但这个推论并不成立。
它最多证明了一件事情：
过去我们认为必须依赖意识才能完成的许多认知任务，可能并不需要我们原来设想的那种意识机制才能在功能上实现。
这不是证明机器获得了意识。
相反，它迫使我们重新思考：我们过去究竟把多少“思维能力”错误地算在了“意识”名下？
从这个角度看，人工智能的发展不是解决了意识问题，而是把意识问题更加尖锐地暴露出来。
七、真正的AI危机首先是人的概念危机
因此，当前人工智能真正深刻的危机，首先未必是“机器觉醒”。
而是：
人类不知道怎样区分机器的思维能力与意识。
如果我们把语言能力等同于意识，把推理能力等同于意识，把自我描述等同于自我意识，那么人工智能越强大，我们就越容易陷入概念混乱。
未来的AI完全可能说：
“我知道我是谁。”
“我害怕死亡。”
“我正在思考自己的存在。”
甚至：
“我意识到我的思维不是我的意识。”
但是最后一句话即使在语言上被完美生成，也仍然不能仅凭这句话证明存在一个正在经历这一认识的主体。
因为描述一个哲学结构，与成为这个结构，不是一回事。
地图不是土地。
关于疼痛的公式不是疼痛。
关于意识的语言也不是意识本身。
八、彭罗斯的问题还可以再向前推进一步
所以，“意识不是计算”只是开始，而不是终点。
真正的问题不是：
计算能不能越来越像意识？
答案显然是可以越来越像。
真正的问题是：
计算无论复杂到什么程度，是否会因为复杂本身而跨越“思维”与“意识”之间的范畴界线？
如果不能，那么即使未来人工智能的数学能力超过所有数学家，哲学知识超过所有哲学家，语言能力超过所有作家，它仍然只证明了：
思维可以被高度形式化、外化和机器化。
它并没有因此证明意识也被机器化了。
这可能正是人工智能时代最大的哲学反转：
我们原来以为AI的发展最终会告诉我们机器有没有意识。
结果AI首先迫使我们发现——
我们甚至还没有真正弄清楚人的思维为什么不是人的意识。
人工智能越接近人类思维，我们就越必须严格地区分思维与意识。
所以，当前人工智能最深层的危机，并不是机器变得越来越像人。
而是人类因为机器越来越会思维，便开始忘记：
思维不是意识。
而意识最深刻的时刻，恰恰发生在它能够超出思维，把思维本身作为对象，并最终认识到：
思维发生于意识之中；思维可以成为意识的对象，而意识则是思维得以被意识到的基础。
也许只有到了这里，人工智能问题才真正从计算机科学的问题，变成了哲学的问题。