即函数 f ( x) 为减函数,因此有 f (0) f (e ) ,即
( p1 e ) log( p1 e ) ( p2 e ) log( p2 e )
因此 H ( X ) H ( X ) 成立。
p1 log p1 p2 log p2
【解释】
当信源符号的概率趋向等概率分布时,不确定性增加,即信息熵是增加的。
L
m
【2.11】试证明:若
i 1
pi 1, q j
j 1
pL ,则
, q , q ,K, q ) H ( p , p ,K, p , p ) p H q1 q2 qm ) H ( p 1 , p ,K, pL 2 L 1 1 2 m 1 2 L 1 L
pL pL pL
并说明等式的物理意义。
解:
H ( p1 , p2 ,K, pL 1 , q1 , q2 ,K, qm )
p1 log p1 p2 log p2 K pL 1 log pL 1 q1 log q1 q2 log q2 K qm log qm p1 log p1 p2 log p2 K pL 1 log pL 1 pL log pL pL log pL
q1 log q1 q2 log q2 K qm log qm
p1 log p1 p2 log p2 K pL 1 log pL 1 pL log pL (q1 q2 q3 L qm ) log pL q1 log q1 q2 log q2 K qm log qm q1q 1
pL
q2 qmK q q lm2
pL pL
p1 log p1 p2 log p2 K pL 1 log pL 1 pL log pL
p1 log p1 p2 log p2 K pL 1 log pL 1 pL log pL
pL (
q1 q1pL pL
q2 qqq
2K m m ) pL pL pL pL
qqq
H ( p1 , p2 ,K, pL 1 , pL ) pL H m 12 m )
pL pL pL
【意义】
将原信源中某一信源符号进行分割,而分割后的符号概率之和等于被分割的原符号的 概率,则新信源的信息熵增加,熵所增加的一项就是由于分割而产生的不确定性量。 【2.12】(1)为了使电视图像获得良好的清晰度和规定的适当的对比度,需要用 5×105 个
信息论答案(第三版)_工学_高等教育_教育专区。基础理论与应用 第三版 傅祖芸 电子工业出版社今日推荐 104份文档 2014年驾照交规...
第三版信息论答案_工学_高等教育_教育专区。第二章课后习题【2.1】设有 12...解:从信息论的角度看, “ 12 枚硬币中,某一枚为假币” 该事件发生的概率为...
信息论与编码姜丹第三版答案_工学_高等教育_教育专区。2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源信息论与编码作业是 74 页,...
第三版信息论答案 91页 5财富值 信息论答案(第三版) 91页 2财富值 信息论 第四章习题解答 5页 免费 信息论第二章答案(南邮研究... 8页 2财富值 信息...
信息论与编码姜丹第三版答案_计算机硬件及网络_IT/计算机_专业资料。信息论与编码部分答案 姜丹第二版 中国科技大学出版社信息论与编码习题参考答案 第一章 单...
息论第九章习题答案(扫描版...歹 =8个 信息组中△ 也有 三个线性独 立 的信息组 ,由这 三个线性独立 ...
信息论第二版答案+傅祖芸_工学_高等教育_教育专区。第二章课后习题【2.1】...得到多少关于 M1 的附加互信息; (3)接收到第三个数字仍为 0 时,又增加了...
信息论与编码(第二版)习题答案+陈运+主编_工学_高等教育_教育专区。信息技术... 编三进制费诺码; 答案 5.3 对题 5.1 的信源分别编二进制和三进制赫夫曼...
信息论基础各章参考答案_工学_高等教育_教育专区。田宝玉等编著...(2)第三次称重 类似ⅰ)的情况,但当两个硬币知其中一个为假,不知为哪个时...
热门文档