Page 42 - 信息的脉络

·信息的脉络·
第四节 熵与信息熵

所有人类知识从直觉开始，然后转变为观念，最后化为思想。
——伊曼努尔·康德

熵不是一个人人皆知的名词，却是物理学上很重要、很基本的概念。它诞生
于热力学，但它的定义和意义被扩展到远远与热力学，甚至与物理学都完全不相
干的领域，如生物学和信息学。

1824 年，被誉为“热力学之父”的卡诺证明了卡诺定理（所有工作在同温热
源与同温冷源之间的热机，可逆热机的效率最高），不仅导出了热机效率的最上限，
推动了工业革命中对热机的研究和改良，而且也已经包含了热力学第一和第二定
律的基本思想，开创了物理学中的一片新天地。此后，德国物理学家和数学家鲁
道夫·克劳修斯（Rudolf Clausius，1822—1888 年）于 1850 年在他的《论热的移

动力及可能由此得出的热定律》论文中，明确地重新陈述了这两个热力学定律。
并明确表述了热力学第一定律：在一切由热产生功，或者由功转化为热的情况中，
两者的总数量不变，第一定律否定了第一类永动机的设想。同时提出“热力学第

二定律”的克劳修斯第二表述方式：不可能把热量从低温物体传递到高温物体而
不产生其他影响。第二定律说明第二类永动机是不可能的。
克劳修斯还提出了热力学第二定律的数学表达，即 dS ＞ =0。也就是封闭系
统的熵只增不减。同时，熵的数值不变或者增加，也可以用作热力学过程是可逆

还是不可逆的判定标准。克劳修斯在希腊文中找了一个词来称呼 S，它的词义为“转
变”，词形有点像“energy”，英文则翻译成“entropy”。当这个颇有来历的名称
被 1923 年到南京讲学的普朗克介绍给中国物理学家时，胡刚复教授在翻译时灵机
一动，创造了一个新词汇“熵”。认为 S 是热量与温度之“商”，而此物与热力

学有关，因此按照中文字的结构规则，给它加上了一个“火”字旁。热力学第二
定律又称“熵增定律”。
克劳修斯于 1865 年的论文中首次定义了“熵”并提出“宇宙的能量是恒定的”
和“宇宙的熵趋于最大值”，这两句话揭示了热力学中的两个（第一、第二）基

本规律，当时听起来却令人沮丧，特别是对那些想制造各种永动机的工程师们而言，
感觉他们想象的翅膀被物理规律牢牢地捆绑住了。能量既不能增加，也不能减少，
你只能将它们变来变去；并且熵只能增加，不能减少，熵的增加意味着系统中的
能量不断消耗。

物理学家彭罗斯在 2004 年出版的《通向实在之路》（《Road to Reality》）一书中，
精辟地描述了地球和太阳、太空之间，能量与熵的转换关系。彭罗斯在书中提出

• 26 •