香农的学术贡献 硕士论文研究了布尔代数用于交换理论中的问题,被认为是历史上最重要的硕士论文之一。在Vannevar Bush的建议下,从事遗传学方面的研究,转入MIT数学系,获得博士学位。战时对保密通信兴趣浓厚。他的工作可能对罗斯福总统和邱吉尔首相的保密语音通信意义重大。 1948年,发表构思了八年的“A Mathematical Theory of Communication”一文,信息论诞生。
成就香农的性格特质 沉迷于研究本身的乐趣 很多著作根本没有得到发表,直到近来才被发现
问题本身比其实用更能吸引香农的兴趣 象棋程序机器老鼠Theseus
香农与妻子Betty享受着不平常、但很随意的家庭生活 三个孩子无数自造的玩具:独轮车、织布机、象棋发明了俄罗斯轮盘赌程序,但是不屑赖此发财研究股票,投资成功
MIT一个特立独行的教授 2006年9月18日© THU 2006– All rights reserved 2006年9月18日© THU 2006– All rights reserved
信息论的基础性贡献 在1948年之前,人们对于通信系统的工作方式有着模糊的、经验主义的认识 有一组调制解调技术(AM/FM/PCM),但是没有统一的理论基础对其进行分析消息与波形之间的转换直观的感受:“传输速率越高、错误概率越高”
信息论的贡献:对信息、信源的剥离与建模 把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”,并给出了其度量公式:熵和互信息; “[The] semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that t
he actual message is one selected from a set of possible messages.”
信息论给出了信息量的定义信息论给出了通信系统的模型
成功的抽象了信源与信道模型(什么才算成功?-不损失本征特征的前提下获得数学上的可操作性) “We can think of a discrete source as generating the message, symbol by symbol. It chooses successive symbols according to certain probabilities depending, in general, on preceding choices as well as the particular symbols in question. A physical system, or a mathematical model of a system which produces such a sequence of symbols governed by a set of probabilities is known as a stochastic process. Conversely, any stochastic process which produces a discrete sequence of symbols chosen from a finite set may be considered a discrete source.”
2006年9月18日
© THU 2006– All rights reserved
2006年9月18日
© THU 2006– All rights reserved
信息论对通信系统设计的贡献-噪声信道模型 噪声信道模型 描述输入和输出之间的统计相关特性 P(yj/ xi)
信息论对通信系统设计的贡献-香农公式 每秒传送r个符号,信息传输的速率为 R= I(X/Y)r=[H(X)– H(X/Y)]r信道容量 C= Rmax=max[H(X)– H(X/Y)]r (最大值遍历全部可能的输入序列)
离散无记忆信道 用前向转移概率矩阵描述 P ( y1/ x1 ) P( y2/ x1 ) P( y/ x ) P( y/ x ) 1 2 2 2 P( y j/ xi )= M M P ( y1/ xL ) P( y2/ xL ) K P( yM/ x1 ) K P ( y M/ x2 ) O M K P( yM/ xL )
限带加性白色高斯噪声信道容量——香农公式
C= W log 2 (1+
Ps ) bit/s N 0W
信道可以传输的信息用输入和输出的互信息描述: I(X;Y)=H(X)-H(X/Y)
2006年9月18日
© THU 2006– All rights reserved
2006年9月18日
© THU 2006– All rights reserved

百度文库 专业资料 IT/计算机 计算机软件及应用上传文档支持以下设备:扫二维码... EMSBM_PPT_chap06_v1.0 邮件安全设置邮件安全设置隐藏>> 第5章内容回顾 ?...
55页 免费 chap.2(new)-0 暂无评价 48页 免费 Human-Centered Design-ch... 22页 免费 IT06_Chap_0 暂无评价 7页 免费喜欢此文档的还喜欢...
百度文库 专业资料 IT/计算机1/2 专题推荐 2012年度工作总结PPT模板... 春节ppt模板 商务PPT简介模板 漂亮动态ppt模板 Windows_Service_PPT_CH... Windows_...
C_chap06_计算机软件及应用_IT/计算机_专业资料。1 Chapter 6 - Arrays Out... 44 Outline fig06_16.c (Part 2 of 8) /* process responses */ mean...
IT/计算机 计算机软件及应用ANSYS_Cha... NINC 6/22 6.1.4 Volumes Commands 01 02 03 04 05 06 07 08 09 V,...
百度文库 专业资料 IT/计算机 计算机软件及应用上传文档支持以下设备:扫二维码... Windows网络服务_PPT_CHAP... 9页 免费 Windows网络服务_PPT_CHAP... 36页...
2页 免费 IT07_Chap_2 78页 2财富值 IT07_Hw_1 3页 2财富值搜你所想,读你所爱 拒绝盗版,营造绿色文库 如要投诉违规内容,请到百度文库投诉中心;如要...
chap06VPN技术_IT/计算机_专业资料。vpn技术网络安全技术 HTTP://ETC.FZU.EDU.CN 第 6 章 VPN 技术... 2 本章要点:......
百度文库 专业资料 IT/计算机 计算机软件及应用上传文档支持以下设备:扫二维码... Chap 6 回顾 数据类型和表达式 6.1 数据的存储和基本数据类型 6.2 数据的...
IT/计算机 计算机软件及应用上传文档支持以下设备:扫二维码下载 AndroidiPhoneiPad... chap06文件权限 隐藏>> 第6章 文件权限 6.1.1 FAT文件系统 ? 文件系统指...
热门文档