大模型与汉语优势论

一．

关于汉语在大模型更有效的传言可能源自微软2023年12月的一篇研究论文。

那个时候大模型估计算力还不够。计算数学问题比较简单而且耗时。所以微软研究人员搞了一个英文token压缩模型叫LLMLingua，把一个先举几个例子示范推导过程然后再提类似数学问题的英文提问经过大幅度token压缩之后提交给大模型，得到压缩答案文本以后再翻译回普通英文。论文说这样做大幅度减少了大模型运算时间，论文举的例子把提问token数从2366压缩到117个。

后来可能就有一些人非正式研究尝试比较用英文和中文提交相同的推理性问题计算各自需要的输出时间，说中文提问用的token少，所以节约算力，但是没有一个权威研究能证实这一点。2026年4月的一篇预印本论文更是直接否定了这一点。

从具体技术层面而言，大模型用分词器编码输入信息，用自注意力机制逐渐从上下文语境中锁定每一个输入token的精确语义，然后再根据预训练数据拟合和预测回答token的概率，从中依次抽样出输出答案的token 流。

但是大语言模型并不用图像识别生成token，就算用图像识别中文也不一定优于拼音文字。人类看英文单词也是一眼扫过而不是一个个字母串起来理解。也就是说如果用图像识别生成文字初级词向量，汉字偏旁之类也许可以作为语义的归指标之一，但是英文同样可以把词根作为不同的词向量单元来处理。

基本上大模型的transfomer预训练和最终拟合过程的数据细节对专业人士也是黑匣子，主要就是知道宏观层面的数学公式，训练参数量最少几百亿上千亿，具体算力资源怎么分配估计谁也搞不清。

中文提问所用词汇可能少一些，但是要从同样词汇的文本语境中锁定每一个词的意义花费力量可能就大很多。换句话说，中文token少，但是语义模糊，预测精度差，综合来说，很难说就比英文更经济。

  所以除非有人能拿出科研数据，否则说中文token在大模型中处理推理问题更有效都是没有根据的，属于坊间传闻。如果进一步以讹传讹鼓吹中文是所谓AI天选文字那基本就可以说是谬之千里了。

?

二．

所谓汉语效率更高，一种流行的说法是汉语词汇音节少，单音节语义密度高，同时汉语句子短，语言表达信息密度也高。但是用汉语说话和阅读乃至思维通常都要慢一些，语义也更为模糊，书面语言文言文更是如此。

当初提倡白话文的时候，就有一些复古派用同样理由说文言文的优势，也没有挡住文言文被白话文取代。

退一步来说，就算中文真的有所谓在大模型中速度更快的优点，这种快究竟有多大实质意义，也是很大疑问。

如果用大模型进行预训练，你不要处理英文文献？英文文献形成的知识参量，你要不要用英文词语去解析和拟合，显然这些都是无法回避的问题。

如果把所有提问都翻译成汉语，然后利用中文预训练的知识去解决，最后再翻译成其他文字？这样做难道没有知识体系上的局限性么？

既然现实世界中人类并不因为讲中文而显得更容易出成果，AI应用会么？

实际上汉字没有完成拼音化主要有两个主要原因：一个是作为汉语词汇中词义载体的单词音节不够丰富；二是历史上在中国周围没有产生出一个强势的采用拼音文字的文明能给予足够大的文化冲击和影响。 

其中第一个原因是主要的，要不然也会跟日韩一样在中古和近代走向拼音化。汉语词汇音节少，以一个和两个音节为主， 日韩属于阿尔泰语系，单词音节应当不会比汉语少。

文字因为分离而不同，不是因为拼音文字而造成分离。汉字虽然是象形表意文字，但台港与大陆已经不同，先秦六国文字也不同。

加拿大一个国家采用英法两种文字也可以。古罗马在分裂前是用拉丁文，分裂后东罗马变希腊文，也维持了一千多年；西罗马分裂成列国，文字用拉丁文也有一千多年。

三．

AI时代大模型好比基建建设高速公路铁路和航运，将知识训练的参数存储其中，能准确保存知识就可以了。

未来或者会出现一种新文字或现有接受度最广的拼音文字作为人类统一文字，就像以前设想的世界语，新的文学可以在上面重新起步，这是世界大同的不二途径。

拼音字母是拼音 ，汉字组词是组意，主要只有二个字组词法，以及成语和谚语，哪些能组也有很大局限。

偏旁部首是汉字意符，硬要说是词根也行，因为有一种汉字叫会意字。但是汉字既是单词也是词根，虽然是单音节，但跟拼音字母归为一类不恰当，跟拼音字母为一类的应该是汉语拼音字母。

其实英语用词根组词也不一定比汉语少，例如反犹主义，英文是antisemitism，也是复合词， 组词本义是反闪米特主义。汉字组词跟拼音字母组词相对应不是好的比较方式，跟词根组词对比表合适。

汉字音节少，书面语言太精简，原因之一可能是中国古代没有像古埃及那样有莎草纸。古希腊人著作多，先秦诸子著作少，原因可能主要也是在此。

不过汉字走向拼音化，个人以为未来还是有机会的。从纯粹技术角度来说，如果汉字进一步口语化，拼音也是可以做到的。

说到底一个文明要焕发青春最终还是要靠兼收并蓄的创新，否则就会跟埃及文明一样逐渐走进历史的垃圾堆。古埃及人的后代作为人种并没有灭绝，灭绝的是文化，历史上那些灭亡的国家和文明，诸如古希腊和古罗马甚至印加帝国和玛雅文明也不例外。