第2章离散信源及其信息

《第2章离散信源及其信息》由会员分享，可在线阅读，更多相关《第2章离散信源及其信息（124页珍藏版）》请在文档大全上搜索。

1、2022-6-1合肥学院胡学友1第2章 离散信源及其信息测度 n主要内容 信源的数学模型及其分类 熵及性质 各类离散信源的信息度量2022-6-1合肥学院胡学友22.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含首和携带着信息。通过信息的表达者消息来研究信源。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。 2022-6-1合肥学院胡学友3n分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源

2、符号序列信源（有记忆和无记忆） 连续信源2022-6-1合肥学院胡学友4n信源输出的消息由随机变量描述 123456111111( )666666aaaaaaXp x61()1iip a完备集2022-6-1合肥学院胡学友51212()()()( )qqaaaXp ap ap ap x1()1qiip a离散情况2022-6-1合肥学院胡学友6()( )( )( )XabRp xp xp x，或( )d1( )d1baRp xxp x x或连续情况信源概率空间信源空间信源空间其中R表示实数集（，），而是随机变量X的概率密度函数。 2022-6-1合肥学院胡学友7n在实际情况中。存在着很多的这样

3、的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息，它们符号集的取值是有限或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。这样的信源称为离散信源。 2022-6-1合肥学院胡学友8 离散信源离散信源又可以细分为：（1）离散无记忆信源离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。（2）离散有记忆信源离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。2022-6-1合肥学院胡学友9n信源不能简单地用一维随机

4、变量来描述信源，而应用N维随机矢量 来描述。这N维随机矢量 有时也称为随机序列 12(,)NXXXX X 2022-6-1合肥学院胡学友10n若信源输出的N维随机矢量 ，每个随机变量 (i=1, 2, , N) 都是取值为有限或可数，即每个随机变量的可能取值是不可数的无限值。且随机矢量的各维概率密度函数都与时间起点无关，也就是说，在任意两个不同时刻随机矢量的各维概率密度函数都相同，这样的信源称为离散平稳信源，如离散化平面灰度图像 12(,)NXXXX iX2022-6-1合肥学院胡学友11n若信源输出的N维随机矢量 ，每个随机变量 (i=1, 2, , N) 都是取值为连续的连续型随机变量，即

5、每个随机变量的可能取值是不可数的无限值。而且随机矢量的各维概率密度函数都与时间起点无关，也就是说，在任意两个不同时刻随机矢量的各维概率密度函数都相同，这样的信源称为连续平稳信源 12(,)NXXXX iX2022-6-1合肥学院胡学友12n在N维随机矢量中，若每个随机变量 (i=1，2，N) 都是离散的，则可用N重离散概率空间来描述这类信源。 iX121, 2,iqxaaaiN1 111 121 111 12()()()( )()()()NqqqNqqqa aaa aaa aaXp xp a aap a aap a aa 2022-6-1合肥学院胡学友13n这个空间共有元素 个。 Nq1()(

6、)iNikip Xp Xa 如果离散无记忆，N随机矢量联合概率分布：2022-6-1合肥学院胡学友14n我们把这信源x所输出的随机矢量X所描述的信源称为离散无记忆信源x的N次扩展 可见，N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。 2022-6-1合肥学院胡学友15n一般情况下信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳随机序列x中，各随机变量Xi之间是有依赖的。例如，在汉字组成的中文序列，英文，德文等自然语言 。n这种信源称为有记忆信源有记忆信源。我们需在N维随机矢量的联合概率分布中引入条件概率分布来说明它们之间的关联。2022-6-1合肥学院胡学友16n表

7、述有记忆信源要比表述无记忆信源因难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度 。n当记忆长度为m十1时，称这种有记忆信源为M阶马尔可夫信源马尔可夫信源 2022-6-1合肥学院胡学友17NiiiXXXXXXX1121miiiXXX21iX取什么符号只与前m个随机变量取什么符号有关 2022-6-1合肥学院胡学友18)|()|(miiiiimiiiiiiixxxxxPxxxxxxxxP321132112（） Ni,21如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可信

8、源时齐马尔可信源 2022-6-1合肥学院胡学友19 最简单的马尔可夫信源是当m=1，也就是一阶马尔可夫信源，此时： 12112211,LLLLLp x xxp x xp xxp x xp x2022-6-1合肥学院胡学友20n更一般地说，实际信源输出的消息常常是时间和取值都是连续的。例如，语音信号X(t)、热噪声信n(t)、电视图像信号X(x0,y0,t)等时间连续函数。同时，在某一固定时间t0，它们的可能取值又是连续的和随机的。对于这种信源输出的消息，可用随机过程来描述。称这类信源为随机波形信源随机波形信源 如课本2.1图所示2022-6-1合肥学院胡学友212.2 离散信源的信息熵 12

9、12()()()( )qqaaaXp ap ap ap x1()1qiip a信源：随机符号的集合 离散：信源由有限个或无限可列的符号组成 无记忆离散信源：用概率空间2022-6-1合肥学院胡学友22有记忆离散信源：联合概率空间1 111 11()()()()nnnnnna aaa aaXPp a aap a aa2022-6-1合肥学院胡学友232.2.1 自信息 信源发出某一符号 后，它提供多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。 ), 2 , 1(nixi2022-6-1合肥学院胡学友24 具体地

10、说，如信源发某一符号ai，由于信道中噪声的随机干扰，收信者收到的一般是ai的某种变型bi收信者收到bi后，从bi中获取关于ai的信息量,如果以I(ai；bi)表示，则有I(ai；bi)收到bi前，收信者对ai存在的不确定性(先验不定度)收到bi后，收信者对ai仍然存在的不确定性(后验不定度)收信者收到bi前、后，对ai存在的不确定性的消除。 2022-6-1合肥学院胡学友25 假定信道中没有噪声的随机干扰(即无噪信道)。这时，显然有biai本身，收信者确切无误地收到信源发出的消息。 那么，(收到bi后，对ai仍存在的不确定性)0。 同时，(收到bi后，从bi中获取关于ai的信息量I(ai；bi

11、)就变成(收到ai后，从ai中获取关于ai的信息量I(ai)，这个I(ai)也就是ai本身所含有的信息量，即能提供的全部信息量，我们称之为ai 的“自信息量自信息量”。 2022-6-1合肥学院胡学友26根据上述的一般原则，就可有： I(ai)收到ai前，收信者对信源发ai的不确定性2022-6-1合肥学院胡学友272.2.1 自信息 n假设一条电线上串联了8个灯泡 ， ， 这8个灯泡损坏的可能性是等慨率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏，致使串联灯泡都不能点亮。n问：获得多少的信息量，才能获知和确定哪个灯泡工已损坏？ 1x8x2022-6-1合肥学院胡学友28n第一次测量获得的