香农信息论

( 6i t 6 )

香农、熵和哈脱菜 沈保南

信息论为不同的通信系统提供进行比较的度量，本世纪 4年代时这种比较越来越显 0多种多样的通信系统。在 2 0年代时，电报通信系统的比较这一课题引起了尼奎斯特 ( Ny u s )和哈脱莱 (R. L. r ly)的注意，他们在信息论出现之前就已 H. q it V. Ha te提出某些相关的基本原理。 1 1 9 8年香农 ( E. h n o C. S a n n)发表了周密的通用理论，成为信息论以后工作的基础。这几位科学家都是信息论的先驱者。 本文参照国内外某些相关资料，拟对名词术语香农 (^。 ),哈脱菜 ( ad y) s∞” n hre 和熵 ( nrp )作一简单的介绍，同一名词在不同资料中的释文说明，则选列二三条供 eto y 参考对照。 一

需：了已的 壁呈曼蛰皇塑叵簦堑蚴以要为使有有竺塑坌盟型董夏 萤

发了明

_

、

香农 ( hno,另一译名为仙农 ) sa n n

1 .香农

选择性信息单位，即根据两个概率相同，互相排斥并包含所有可能的事件出现

一

个的已知结果推导得出的信息量 ( CCI o . Tem n latos)。 TT v 1 X r sad Deii n i

信息的对数计量单位，它是两种互不相关的并且具有相等概率的事态集合的判

定含量，表示为以 2为底的对数。例如 t一个 8字符的字组的判定含量等于 3香农 (香农的符号为 s h)。

在信息论中，一组互斥事件的判定量以 2为底的对数量度单位。例如 t 8个字

符组成的字符组的判定量为 lg 8= 3香农。 o。 2香农公式 ( h n b q ain) . S a n a e u to

设信道带宽为口，信道内所传信号的平均功率为 S,信道内部高斯噪声的功率为Ⅳ,则信道容量 c为 ,

C:Bl (+S N)比特/ g 1/秒

.

番农公式指出了当信号和噪声的平均功率给定之后，在单位时回内，在给定带宽的信道的最大信息传输量。 3香农极限值 ( h n o i t . S an nl mi )

‘

用最佳调制技术改进达到的信号/声比

的极大值。这一极大值已由有关信道容量噪和信号/声比曲香农定理所指出。噪 4 1 8