Page 46 - 信息的脉络

·信息的脉络·
第五节 香农与信息论

你应该管这个叫熵，有两个原因：第一，你的不确定性函数已经以这个名称
用于统计力学了，也就是说它只有一个名字了；第二，更重要的是，没有人知道
熵是究竟是什么，这样子一旦辩论起来你总是会占上风。

——约翰·冯·诺依曼，《致克劳德·香农》

薛定谔有句名言：“生物依赖负熵为生”，约翰·惠勒说过：“万物皆比特（信

息）”……物理学家们早就预言了“熵”与世界万物的联系，但最后是信息之父
克劳德·香农（Claude Shannon，1916—2001 年）将这个概念从物理扩展到了信
息世界。
信息是什么？这是一个古老的问题，又是一个现代的问题，也是一个迄今为
止仍然众说纷纭、悬而未决的问题，特别是在社会所认可的广义信息的层面上。

文学家、哲学家、社会学家……各家各派都对“信息”有不同的理解和说法。物
理学家们的研究对象是物质和物质的运动，即物质和能量。信息显然不是物质，
它应该是物质的一种属性，听起来和能量有些类似，但它显然也不是能量。在科

学家们的眼中，信息仍然应该是一种独立于人类的主观精神世界、客观存在的东西。
因此，到了最后，有人便宣称：“组成我们客观世界的有三大基本要素：除了物
质和能量之外，还有信息。”美国学者、哈佛大学的 A.G. 欧廷格（A.G.Oettinger）
对这三大基本要素作了精辟的诠释：“没有物质，什么都不存在；没有能量，什

么都不会发生；没有信息，什么都没有意义。”
尽管对“信息是什么？”的问题难有定论，但通过与物理学中定义的物质和
能量相类比，科学家们恍然大悟：信息的概念如此混乱，可能是因为我们没有给
它一个定量的描述。科学理论需要物理量的量化，量化后才能建立数学模型。如

果我们能将“信息”量化，问题可能就会好办多了！
被人誉为“信息和数字通信之父”的科学家——克劳德·香农，登上了科学
的历史舞台。克劳德·香农有两大贡献：一是符号逻辑和开关理论；二是信息理论、
信息熵的概念，这两大贡献是分别对应香农的两篇论文。

1937 年，香农的硕士论文《继电器与开关电路的符号分析》发表，论文开篇
写道：“一种演算法已经被发展了出来，借此可以通过简单的数学过程来推导这
些表达式。”
当时，人们发现二进制、布尔代数与真实的世界有着天然的对应关系。例如，

我们可以用 1 代表逻辑上的真，也可以对应电路的连通、高电压等；而 0 则可以
代表逻辑上的假、电路的断开、低电压等。香农在麻省理工学院研究由继电器组

• 30 •