第二章习题解答
2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol
所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2、 设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 解：根据题意，“没有不及格”或“pass”的概率为
Ppass?1?14? 55因此当教师通知某甲“没有不及格”后，甲获得信息
Ipass??logPpass4??log?0.322 bits5在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D） 的概率相同：
Pscore?P(A|pass)?P(B|pass)?P(C|pass)?P(D|pass)?1 4为确定自己的成绩，甲还需信息
Iscore??logPscore??log1?2 bits 43、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个16?16的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？
解：由于每个汉字的使用频度相同，它们有相同的出现概率，即
P?
1 67631?12.7 bits 6763因此每个汉字所含的信息量为
I字??logP??log每个显示方阵能显示216?16?2256种不同的状态，等概分布时信息墒最大，
所以一个显示方阵所能显示的最大信息量是
I阵??logP??log12256?256 bits
显示方阵的利用率或显示效率为
??I字I阵?12.7?0.0497 2564、两个信源S1和S2均有两种输出：X?0, 1和Y?0, 1，概率分别为PX?PX?1/2，
01PY0?1/4，PY1?3/4。试计算H(X)和H(Y)。设S1发出序列0101，S2发出0111，如
传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列
传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。）
解：X和Y的信息熵分别为
H(X)??PXilogi?011111?log2?log2?1 bitPXi22H(Y)??PYilogi?01134?log4?log?0.81 bitP443Yi
因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收
到信息量等于发送的信息量，即
1I1??logPX0??log?1 bit2 1I2??logPY0??log?2 bits4I1总?4?log2?4 bits整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是
4I2总?log4?3?log?3.24 bits3平均每次（每个符号）发送（携带）的信息为
I1总4IX???1 bit?H(X)44
I3.24IY?2总??0.81 bit?H(X)445、从普通的52张扑克牌中随机地抽出一张
(a) 当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？ (b) 如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？ 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是
I红桃??log(1/4)?2 bits I人头??log(3/13)?2.115 bits I红桃人头??log(3/52)?4.116 bits
(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人
头，为确切地知道是哪张牌，还需要
I??log(1/6)?2.58 bits信息。
6、 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵；
(4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
111111????，I(xi)??logp(xi)??log?4.170 bit 666618181111，I(xi)??logp(xi)??log?5.170 bit (2)p(xi)???663636解：(1)p(xi)?(3)两个点数的排列如下：
11 12 13 14 15 21 22 23 24 25 31 32 33 34 35 41 42 43 44 45 51 52 53 54 55 61 62 63 64 65 共有21种组合：
16 26 36 46 56 66
其中11，22，33，44，55，66的概率是其他15个组合的概率是2?111?? 6636111?? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
361818??36i(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
23456789101112??X???1?1111151511????P(X)?????3618129366369121836??H(X)???p(xi)logp(xi)i111111115511?? ???2?log?2?log?2?log?2?log?2?log?log?361818121299363666??36 ?3.274 bit/symbol(5)p(xi)?111111??11?，I(xi)??logp(xi)??log?1.710 bit 6636367、 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。
(1) 求信源熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解：(1)H(X)??mlog?log??0.811 bit/symbol ?p(x)logp(x)???444??4iii?1133??1??3?(2) p(xi)???????4??4?100?m3100?m?100 43100?mI(xi)??logp(xi)??log100?41.5?1.585m bit
4(3) H(X100)?100H(X)?100?0.811?81.1 bit/symbol
8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设A为女大学生，B为1.6米以上的女孩，则依题意有:P(A)?11，P(B)?，42P(B|A)?P(AB)33133? ，P(AB)?P(A)?P(B|A)???，P(A|B)?44416P(B)88?3?log23=1.415比特 3所以信息量为log29、设离散无记忆信源?1a3＝2a4＝3??X??a1＝0a2＝=，其发出的消息为 ????P(x)??3/81/41/41/8?（202120130213001203210110321010021032 011223210），求：
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少？ 解：(1) 因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。
3= 1.415 比特 81I（a2?1）= ? log P（a2）= ?log=2比特
41I（a3?2）= ?log P（a3）= ?log=2比特
41I（a4?3）= ?log P（a4）= ?log=3比特
8I（a1?0）= ?log P（a1） = ?log
则此消息的自信息是：
