文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 最大熵原理
侵权投诉

最大熵原理

最大熵原理

最大熵原理(the maximum entropy principle)

2006年10月23日 星期一 19:59

热力学统计物理中有熵增加原理,在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。

在很多情况下,对一些随机事件,我们并不了解其概率分布,所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如,我们只知道一个班的学生 考试成绩有三个分数档:80分、90分、100分,且已知平均成绩为90分。显然在这种情况下,三种分数档的概率分布并不是唯一的。因为在下列已知条件限 制下

最大熵原理

(平均成绩)

最大熵原理

(概率归一化条件)

有无限多组解,该选哪一组解呢?即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢?这个挑选标准就是最大信息熵原理。

按最大信息熵原理,我们从全部相容的分布中挑选这样的分布,它是在某些约束条件下(通常是给定的某些随机变量的平均值)使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。

在我们把熵看作是计量不确定程度的最合适的标尺时,我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的,是主观成分最少,把不确定的东西作最大估计的分布。 任何物质系统除了都受到或多或少的外部约束外,其内部总是具有一定的自由度,这种自由度导致系统内的各元素处于不同的状态。而状态的多样性,状态的 丰富程度(混乱程度、复杂程度)的定量计量标尺就是熵,熵最大就是事物状态的丰富程度自动达到最大值。换句话说,事物总是在约束下争取(或呈现)最大的自 由权,我们把这看作是自然界的根本原则。

在给定的约束条件下,由最大信息熵原理求“最佳”概率分布,就是求解条件极值问题。在某些场合,常用拉格朗日乘子法来确定此分布。

一般地,拉格朗日乘子法的法则可叙述如下:欲求n元函数f(x1,x2,…,xn)在m个约束条件

第1页

你可能喜欢

  • 最大熵模型
  • matlab图像分割
  • 熵的计算
  • 图像阈值分割
  • SVM算法
  • 信息论与编码论文
  • 图像信息处理

热门文档

相关文档

  • 模式识别和最大熵原理应用

    模式识别和最大熵原理应用_经管营销_专业资料。模式识别和最大熵原理应用第 卷第 期年月 2 2 2 信息与控制≤ 文章编号 模式识别的最大熵方法张九龙摘 潘 ...

  • 最大熵原理与最小鉴别信息原理

    THU 2006 – All rights reserved 14 3 最小鉴别信息原理 最大熵原理给出的是在没有任何先验 信息前提下,求解欠定问题的一种方 法。 如果存在一个先验的分布...

  • 最大熵原理和最小信息原理 第12节

    最大熵与最小鉴别信息原理 §2.1 最大熵原理(1957年E .T . Jaynes提出) —— 离散情况 q (1) 问题: 设某随机变量 X,而概率分布 (ak ) 未知, 已知其...

  • 基于最大熵原理的空间特征选择方法

    基于最大熵原理的空间特征选择方法_信息与通信_工程科技_专业资料。基于最大熵原理的空间特征选择方法1000-9825/2003/14(09)1544 2003 Journal of Software 软件...

  • 第六章 最大熵原理及应用

    最大熵原理及应用①熵的概念与性质 ②最大熵原理 ③最小鉴别信息原理 ④二者之间的联系 ⑤最大熵原理的应用 最大熵原理及应用 3 课程结构 ? ? ? ? ? 6....

  • 最大熵理论及其应用

    (7)最大熵理论熵增原理 在无外力作用下,事物总是朝着最混乱的方向 发展 事物是约束和自由的统一体 事物总是在约束下争取最大的自由权,这其实 也是自然界的...

  • 浅谈最大熵原理和统计物理学

    透过研究理想气体,我们将阐述如何运用最大熵 原理研究真实问题。同时藉由简短分析统计物理学研究方法的问题,本文会给出最大熵 原理更深层涵义及其应用。我们将称之为...

  • 基于最大熵原理的混沌时间序列预测

    基于最大熵原理的混沌时间序列预测 混沌理论告诉我们,由于其有对初始条件极其敏感的特性,即使在相当高的观测精度和计算精度下,经过多次演变后,初始信息也完全丧失。...

  • 信息熵与最大熵原理

    信息熵与最大熵原理_工学_高等教育_教育专区。信息熵与最大熵原理弟 卷 水利 电力科技 第 期 信息嫡与最 大嫡 原理 冯尚友武 汉水利 电力 大学水能动力...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email