【 2.9 】设 离散 无记 忆 信 源 S 其 符号集 A {a1 , a2 ,..., aq } ,知其 相 应 的 概率 分别 为 (P1 , P2 ,..., Pq ) 。设 另 一 离 散 无记 忆 信 源 S ,其 符 号集 为 S 信 源符 号集 的两 倍 ,
A {ai , i 1,2,...,2q} ,并且各符号的概率分布满足
Pi
(1 e ) Pi i 1,2,..., q
i q 1, q 2,...,2q
Pi ePi
试写出信源 S 的信息熵与信源 S 的信息熵的关系。 解:
H (S ) (1 e )
P( x) log P( x)
(1 e ) Pi log(1 e )Pi ePi log ePi
Pi log(1 e ) (1 e ) Pi log Pi e
Pi log e e
Pi log Pi
(1 e ) log(1 e ) e log e H (S ) H (S ) H (e ,1 e )
【2.10】设有一概率空间,其概率分布为 { p1 , p2 ,..., pq } ,并有 p1 p2 。若取 p1 p2
p2 e ,其中 0 2e
p1
p1 e ,
p2 ,而其他概率值不变。试证明由此所得新的概率空间的
熵是增加的,并用熵的物理意义加以解释。 解:
设新的信源为 X ,新信源的熵为:
H ( X )
pi log pi ( p1 e ) log( p1 e ) ( p2 e ) log( p2 e ) L pq log pq
原信源的熵
H ( X )
pi log pi p1 log p1 p2 log p2 L pq log pq
因此有,
H ( X ) H ( X ) ( p1 e ) log( p1 e ) ( p2 e ) log( p2 e ) p1 log p1 p2 log p2
令 f ( x) ( p1 x) log( p1 x) ( p2
x) log( p2 x) , x
0,
p1
2
p2
,则
f ( x) p2 x
p1 x
信息论答案(第三版)_工学_高等教育_教育专区。基础理论与应用 第三版 傅祖芸 电子工业出版社今日推荐 104份文档 2014年驾照交规...
第三版信息论答案_工学_高等教育_教育专区。第二章课后习题【2.1】设有 12...解:从信息论的角度看, “ 12 枚硬币中,某一枚为假币” 该事件发生的概率为...
信息论与编码姜丹第三版答案_工学_高等教育_教育专区。2002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源信息论与编码作业是 74 页,...
第三版信息论答案 91页 5财富值 信息论答案(第三版) 91页 2财富值 信息论 第四章习题解答 5页 免费 信息论第二章答案(南邮研究... 8页 2财富值 信息...
信息论与编码姜丹第三版答案_计算机硬件及网络_IT/计算机_专业资料。信息论与编码部分答案 姜丹第二版 中国科技大学出版社信息论与编码习题参考答案 第一章 单...
息论第九章习题答案(扫描版...歹 =8个 信息组中△ 也有 三个线性独 立 的信息组 ,由这 三个线性独立 ...
信息论第二版答案+傅祖芸_工学_高等教育_教育专区。第二章课后习题【2.1】...得到多少关于 M1 的附加互信息; (3)接收到第三个数字仍为 0 时,又增加了...
信息论与编码(第二版)习题答案+陈运+主编_工学_高等教育_教育专区。信息技术... 编三进制费诺码; 答案 5.3 对题 5.1 的信源分别编二进制和三进制赫夫曼...
信息论基础各章参考答案_工学_高等教育_教育专区。田宝玉等编著...(2)第三次称重 类似ⅰ)的情况,但当两个硬币知其中一个为假,不知为哪个时...
热门文档