例2.5 掷色子,设色子面朝上的点数用随机变量X来表示,则X可能有以下几种概率分布P0=(1/6,1/6,1/6,1/6,1/6,1/6)P1=(0,1/3,0,1/3,1/2)P2=(0,0,0,1/2,0,1/2)P3=(0,1/5,1/5,1/5,1/5,1/5)对每种概率分布,其香浓熵分别为H(p0)=log6,H(p1)=log3,H(p2)=log2,H(p3)=log5.从而Is(p...
EEE325 Signal ProcessingDr.Zhao Wangzhao.wang@xjtlu.edu.cnRoom EE322Lecture 1 Introduction
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 解:四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量H(X1) = log2n = log24 = 2 bit/sym...
Chapter 4:Channel and Channel Capacity
ÆØÛÓÖÁÒÓÖÑØÓÒÌË ÐÒÓÖÝÓÖÏÖÐ××ÒÇÔØÑÐ&...
Chapter 2.Basic Concepts of Info. Theory--Information statistical measure
Chapter3ProbabilityandInformationTheoryInthischapter,wedescribeprobabilitytheory.Probabilitytheoryisamathematicalframeworkforrepresentinguncertainstatements.Itprovidesameansofquantifyinguncertaintyand...
Chapter 5 lossless source coding
信息论基础绪论科学技术的发展使人类正在进入一个新的时代,这个时代的主要特征之一是对信息的需求和利用,因此有人称它为信息时代。一) 什么是信息?信息至今无确切定义,但是它是一种人人皆知的抽象概念,是一种不言自明的概念。正像什么是“人”的概念一样,不言自明,人人皆知。信息虽无确切定义,但是却具有两个明显的特征:广泛性与抽象性。所谓广泛性可从以下三方面来理解:1) 客观世界充满着信息:天上的星体、地下的...