因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit
87.81?1.95bit/符号 452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
平均每个符号携带的信息量为
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol 所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲
??(1) I(●)=Log(4)?2 I(－)＝Log???0.415
?3?(2) H= 2-10
(2) P(黑/黑)= H(Y/黑)= (3) P(黑/白)= H(Y/白)= (4) P(黑)= H(Y)=
P(白)=
P(白/白)=
P(白/黑)=
14Log(4)?34Log??4??0.811
?3?
4?
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X表示指针指向某一数字，则X={1,2,……….,38}
Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）H(Y)??p(y)logp(y)?38log2?2?38log18?1.24bit/符号
jj?1j312381838（2）H(X,Y)?H(X)?log238?5.25bit/符号
（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为
?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?
?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率p(xi,yj)为
Y X x1 x2 x3 X概率分布 X P x1 8/24 x2 8/24 x3 8/24 y1 y2 1/24 1/4 1/24 y3 0 1/24 7/24 H(X,Y)??p(xi,yj)log2ij7/24 1/24 0 1p(xi,yj)?2?72411log2?4?log224?log24247244 =2.3bit/符号
1H(Y)?3?log23?1.58bit/符号
3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58 Y概率分布是 =0.72bit/符号 Y P
y1 8/24 y2 8/24 y3 8/24
2.13 有两个二元随机变量X和Y，它们的联合概率为
Y X y1=0 y2=1 x1=0 1/8 3/8 x2=1 3/8 1/8 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解： (1)
p(x1311)?p(x1y1)?p(x1y2)?8?8?2p(x)?3112)?p(x2y1)?p(x2y28?8?2H(X)???p(xi)logp(xi)?1 bit/symboli
p(y?p(xp(x1311)1y1)?2y1)?8?8?2p(y3112)?p(x1y2)?p(x2y2)?8?8?2H(Y)???p(yj)logp(yj)?1 bit/symboljZ = XY的概率分布如下：
?Z??z?0z2?1???P(Z)????1?71????88??
2H(Z)???p(z?7711?k)???log?log??0.544 bit/symk?8888?bol
p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?1873?0.5?8813311??1H(XZ)????p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol28888??2ik
p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?1873?0.5?8813311??1H(YZ)????p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol28888??2jk
