文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 天文/地理 > 信息熵.doc
侵权投诉

信息熵.doc

一些信息熵的含义

(1) 信息熵的定义:假设X是一个离散随即变量,即它的取值范围

信息熵.doc

R={x1

信息熵.doc

,x2...}是有限可数的。设pi=P{X=xi},X的熵定义为:

(a)

若(a)式中,对数的底为2,则熵表示为H2(x),此时以2为基底的熵单位是bits,即位。若某一项pi=0,则定义该项的pilogpi-1为0。

(2) 设R={0,1},并定义P{X=0}=p,P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要,称为熵函数。熵函数的的曲线如下图表示:

再者,定义对于任意的x∈R,I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I(x)可视为x所提供的信息量。I(x)的曲线如下:

(3) H(X)的最大值。若X在定义域R={x1,x2,...xr},则0<=H(X)<=logr。

(4) 条件熵:定义

第1页

你可能喜欢

热门文档

相关文档

  • 信息熵的应用

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ... 0 信息熵在球员选拔中的应用 摘要:.本课题通过研究信息熵的定义和性质,运用 ...

  • 信息熵

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ...Shannon 借鉴了热力学的概念, 把信息中排除了冗余后的平均信息量称为“信息 熵...

  • 信息熵及其性质和应用

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ...目前文献中信息熵在具体问题中的应用有信息熵在教学质量分析中的应用, 信息熵在...

  • 信息熵

    格式:doc 关键词:暂无1/2 相关文档推荐 信息熵 12页 免费 对信息熵的探讨... 信息论) 熵 (信息论) 维基百科,自由的百科全书 跳转到: 导航, 搜索本文...

  • 有关信息熵

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 IT/计算机 ... 有关信息熵_计算机软件及应用_IT/计算机_专业资料。有关信息熵(摘自互动维客:...

  • 最大信息熵原理。

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 教育专区 高等教育 ...最大信息熵原理热力学统计物理中有熵增加原理,在信息论中也有对应的关于信息熵...

  • 信息熵的性质

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 ... 信息熵的性质_数学_自然科学_专业资料。信息熵的性质今日推荐 ...

  • 计算信息熵及其互信息

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 IT/计算机... 计算信息熵及其互信息_IT/计算机_专业资料。信息论 实验一 计算信息熵及其互...

  • 信息熵

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学 数学信息熵_数学_自然科学_专业资料 暂无评价0人阅读0次下载举报文档 信息熵_数学...

  • 信息熵理论

    搜 试试 7 帮助 全部 DOC PPT TXT PDF XLS 百度文库 专业资料 自然科学... 信息熵理论_自然科学_专业资料。信息熵理论 在通信系统中,信息从发送到接收的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email