信息论与编码2012—ch4 信息率失真函数2

《信息论与编码2012—ch4 信息率失真函数2》由会员分享，可在线阅读，更多相关《信息论与编码2012—ch4 信息率失真函数2（60页珍藏版）》请在文档大全上搜索。

1、2022/5/301 世界上那些最容易的事情中，拖延时间最不费力。2022/5/3024.1 基本概念基本概念4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较4.5 限失真信源编码定理限失真信源编码定理第七章 信息率失真函数2022/5/3034.2 离散信源的信息率失真函数l对离散信源，求对离散信源，求R(D)与求与求C类似，是一个在有约束条件下求平均互信类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；息极值问题，只是约束条件不同；lC是求平

2、均互信息的条件极大值，是求平均互信息的条件极大值， R(D)是求平均互信息的条件极小值。是求平均互信息的条件极小值。4.2.1 离散信源信息率失真函数的参量表达式离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数2022/5/3044.2.1 离散信源率失真函数的参量表达式(1) 求极小值方法求极小值方法l用拉格朗日乘数法原则上可以求出最小值，但是要得到用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。数的参量表达式。

3、l已知信源概率分布函数已知信源概率分布函数p(xi)和失真度和失真度d(xi , yj)，在满足保，在满足保真度准则真度准则 的条件下，在试验信道集合的条件下，在试验信道集合PD当中选当中选择择p(yj /xi)，使平均互信息，使平均互信息DD11111(/)(; )() (/)ln()(/)11,2,() (/) (,)nmjiijiijjmnmjiijiijjijp yxI X Yp xp yxp yp yxinDp xp yx d x y最小，同时满足的条件是2022/5/305(2) 离散信源的离散信源的信息率失真函数信息率失真函数 已知平均互信息在已知平均互信息在(4.2)的的(n+

4、1)个条件限制下求个条件限制下求I(X;Y)的的极值，引入拉格朗日乘数极值，引入拉格朗日乘数S和和i(i=1,2,n)，构造一个构造一个新函数新函数111111(/)(; )( ) (/)ln(4.1)()( ) (/) ( ,)(4.2)(/)11,2,()( ) (/)nmjiijiijjnmijiijijmjijnjijiip yxI X Yp x p yxp yDp x p yx d x yp yxinp yp x p yx其中4.2.1 离散信源率失真函数的参量表达式2022/5/306111(; )( ) (/) ( ,)(/) 1(4.3)(/)00(4.4)(/)(4.3)(4

5、.4)(/)( )ln( ) ( ,)0(4.5)()nmijiijijmijijjijijiiiijijI X YSp x p yx d x yDp yxp yxp yxp yxp xSp x d x yp y 对求偏导，并令导数为 ，即将式代入式得4.2.1 离散信源率失真函数的参量表达式2022/5/30711111111(; )( )( /)()ln()( ) (/)ln(/)( ) (/) ln( ) (/)( ) (/)ln(/)( )ln()( )(/)(mnmjjijijijijmnnijiijijiinmijijiijijijiiI X YH YH YXp yp yp x p

6、 yxp yxp x p yxp x p yxp x p yxp yxIp xp yp xp yxp x 其中)ln(/)( )(/)( )ln(1,2, ;1,2,)()jiijiijp yxp xp yxp xin jmp y4.2.1 离散信源率失真函数的参量表达式2022/5/3084.2.1 离散信源率失真函数的参量表达式(,)(4.5)( ),ln( )(/)ln( ,)0()( )(/)ln( ,)ln0()(/)lnln( ,)()(/)(/)()(4.6)1,2, ;1,2,ijiiiijiiijjijiijijjiiijjjiSd x yjijip xp xp yxSd x

7、 yp yp xp yxSd x yp yp yxSd x yp ym np yxp yxp yein jm将式两边除以并令解得个关于的方程(/)( )ln( ) ( ,)0(4.5)()jiiiijijp yxp xSp x d x yp y2022/5/3094.2.1 离散信源率失真函数的参量表达式第一步：求i(,)11(,)1(,)1(4.6)( )()( ) (/)( ) ()()( )( )1( ()0,1,2,)(4.7)ijijijinnSd x yjijiijiiinSd x yjiiinSd x yiijiip xip yp x p yxp x p yep yp x ep

8、x ep yjm式两边乘以再对 求和得即由上式解出 ，(,)(/)()(4.6)ijSd x yjijip yxp ye2022/5/30104.2.1 离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi) 将解出的i和p(yj)代入式(4.6)，可求得mn个以S为参量的p(yj/xi)。(,)1(,)11(4.6)1()(4.8)()( )1(1,2,)(4.9)()()ijijmSd x yijjijSd x ynimikkjjp y emp yp x ejmp ySp y式两边对 求和有将解出的 代入上式得到 个关于的联立方程由此解出以 为参量的。(,)(/)()

9、(4.6)ijSd x yjijip yxp ye2022/5/30114.2.1 离散信源率失真函数的参量表达式第四步：求D(S) 将这mn个p(yj /xi)代入(4.2)得到以S为参量的允许平均失真函数D(S)。(,)11( )( ) () ( ,)(4.10)ijnmSd x yijijiijD Sp x p y d x ye111( ) (/) ( ,)(4.2)(/)11,2,nmijiijijmjijDp x p yx d x yp yxin(,)(/)()(4.6)ijSd x yjijip yxp ye2022/5/30124.2.1 离散信源率失真函数的参量表达式第五步：求

10、R(S) 将这mn个p(yj /xi)代入(4.1)得到以S为参量的率失真函数R(S)。(,)(,)11(,)11111()( )( ) ()ln()( )( ) ()ln( )( )ln(/)( )( )( )ln(4.11)ijijijSd x ynmSd x yjiijiijjnmSd x yijiiijnmiijiijniiip yeR Sp x p yep ySD Sp x p yeSD Sp xp yxR SSD Sp x11(/)(; )( ) (/)ln(4.1)()nmjiijiijjp yxI X Yp x p yxp y(,)(/)()(4.6)ijSd x yjijip

11、 yxp ye(,)11( )() () (,)(4.10)ijnmSd xyijijiijD Sp xp yd xye2022/5/3013第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如下图。4.2.1 离散信源率失真函数的参量表达式2022/5/30144.2.1 离散信源率失真函数的参量表达式(3) 参量参量S的说明的说明l可以证明可以证明S就是就是R(D)函数函数的斜率的斜率 。l斜率斜率S必然负值；必然负值；S是是D的递增函数，的递增函数，D从从0变到变到Dmax，S将逐渐增加；将逐渐增加；l当当D=0时时(R(D)的斜率的斜率)：S的最小值趋于负无穷。