一些信息熵的含义
(1) 信息熵的定义:假设X是一个离散随即变量,即它的取值范围

R={x1

,x2...}是有限可数的。设pi=P{X=xi},X的熵定义为:
(a)
若(a)式中,对数的底为2,则熵表示为H2(x),此时以2为基底的熵单位是bits,即位。若某一项pi=0,则定义该项的pilogpi-1为0。
(2) 设R={0,1},并定义P{X=0}=p,P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要,称为熵函数。熵函数的的曲线如下图表示:
再者,定义对于任意的x∈R,I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I(x)可视为x所提供的信息量。I(x)的曲线如下:
(3) H(X)的最大值。若X在定义域R={x1,x2,...xr},则0<=H(X)<=logr。
(4) 条件熵:定义
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ... 0 信息熵在球员选拔中的应用 摘要:.本课题通过研究信息熵的定义和性质,运用 ...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ...Shannon 借鉴了热力学的概念, 把信息中排除了冗余后的平均信息量称为“信息 熵...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ...目前文献中信息熵在具体问题中的应用有信息熵在教学质量分析中的应用, 信息熵在...
格式:doc 关键词:暂无1/2 相关文档推荐 信息熵 12页 免费 对信息熵的探讨... 信息论) 熵 (信息论) 维基百科,自由的百科全书 跳转到: 导航, 搜索本文...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 IT/计算机 ... 有关信息熵_计算机软件及应用_IT/计算机_专业资料。有关信息熵(摘自互动维客:...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 教育专区 高等教育 ...最大信息熵原理热力学统计物理中有熵增加原理,在信息论中也有对应的关于信息熵...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ... 信息熵的性质_数学_自然科学_专业资料。信息熵的性质今日推荐 ...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 IT/计算机... 计算信息熵及其互信息_IT/计算机_专业资料。信息论 实验一 计算信息熵及其互...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 数学信息熵_数学_自然科学_专业资料 暂无评价0人阅读0次下载举报文档 信息熵_数学...
搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学... 信息熵理论_自然科学_专业资料。信息熵理论 在通信系统中,信息从发送到接收的...
热门文档