例3.4 考虑二元对称信道的情况
I(X;Y)?I(Y;X)?H(Y)?H(YX)1111?w(plog?plog)?(1?w)(plog?plog)pppp11?plog?plog?H(p)ppH(Y/X)p(Y?0)?wp?(1?w)p?wp?wpp(Y?1)?1?(wp?wp)H(Y)?H(wp?wp)I(Y;X)?H(wp?wp)-H(p)41
I(Y;X)?H(wp?wp)-H(p)1-H(P)0
0.5
1.0
w
固定二元对称信道的平均互信息
42
I(Y;X)?H(wp?wp)-H(p)H(w)当p=1/2时,
I(X;Y)=0, 信道输出端获得的信息量最小。信源的信息全部损失在信道中p43
0
0.5
1.0
I(X;Y)
信道容量
对于给定的信道，至少存在一个信源，当通过这个信道传递时，可以获得最大的平均互信息。p1(x)p2(x)p(x)
44
