六、计算（每题10分）（20道）
1、设有一个信源，它产生0，1序列的信息。它在任意时刻且不论以前发生过什么符号，均按P（0）=0.4，P(1)=0.6的概率发出符号。试计算：
limH(X)2
（1）H（X） （2）H（X3/X1X2） （3）N??
解：根据题意，此信源在任何时刻发出的符号概率都是相同的，即概率分布与时
间平移无关，且信源发出的序列之间也是彼此无依赖的，所以这个信源是平稳信源，且是离散无记忆信源。
（１）Ｈ（Ｘ）＝-0.4LOG20.4-0.6LOG20.6≈0.971 比特／符号
Ｈ（Ｘ2）＝2Ｈ（Ｘ）≈1.942 比特／二符号
（２）Ｈ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（Ｘ3）＝Ｈ（Ｘ）≈0.971 比特／符号
limH(X)（３） N??=lim1/N×H(X1X2?XＮ)＝lim1/N× NＨ（Ｘ）
＝Ｈ（Ｘ）≈0.971 比特／符号
２、已知信源X和条件概率P（Y/X）如下：
x2??X??x1?Y/X??y1/x1y2/x1y1/x2y2/x2????P(X)??1/21/2??P(Y/X)???3/41/41/43/4????????
试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、Ｉ(X；Y) 解：根据题意，(1)由p(xiyj)=p(xi)p(yj/xi)，求出各联合概率： p(x１y１)=p(x１)p(y１|x１)＝1/2×3/4＝0.375 p(x１y２)=p(x１)p(y２|x１)＝1/2×1/4＝0.125 p(x２y１)=p(x２)p(y１|x２)＝1/2×1/4＝0.125 p(x２y２)=p(x２)p(y２|x２)＝1/2×3/4＝0.375 (2)由p(yj)=∑i=1np(xiyj)，得到Ｙ集合消息概率：
p(y１)=∑i=1２p(xiy１)＝p(x１y１)+ p(x２y１)=0.375+0.125=0.5 p(y２)=∑i=1２p(xiy２)＝1- p(y１)=1-0.5=0.5 (3)由p(xi|yj)=p(xiyj)/p(yi)，求出X的各后验概率： p(x１|y１)=p(x１y１)/p(y１)＝0.375/0.5=0.75 p(x2|y１)=p(x2y１)/p(y１)＝0.125/0.5=0.25 p(x１|y2)=p(x１y2)/p(y2)＝0.125/0.5=0.25 p(x2|y2)=p(x2y2)/p(y2)＝0.375/0.5=0.75
(4)Ｈ（Ｘ）＝∑i=1２p(xi)ＬＯＧ２P(xi)＝-0.5LOG20.5-0.5LOG20.5=1比特/符号 Ｈ（Y）＝∑i=1２p(yi)ＬＯＧ２P(yi)＝-0.5LOG20.5-0.5LOG20.5=1比特/符号 Ｈ（ＸY）＝∑i=1２∑j=1２p(xiyj)ＬＯＧ２P(xiyj)
＝-2×0.375LOG20.375-2×0.125LOG20.125=1比特/符号
(5)平均互信息：
I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1=1比特/符号 (6)疑义度：
H(X|Y)= ∑i=1２∑j=1２p(xiyj)ＬＯＧ２P(xi|yj) ＝-2×0.375LOG20.75-2×0.125LOG20.25
=2-3/4log3=2-0.93875=1.0615 比特/符号
(7)噪声熵：
H(Y|X)= ∑i=1２∑j=1２p(xiyj)ＬＯＧ２P(yj|xi)
＝-2×0.375LOG20.75-2×0.125LOG20.25 =2-3/4log3=2-0.93875=1.0615 比特/符号
3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：
(1)“３和５同时出现”这事件的自信息量； (2)“两个１同时出现” 这事件的自信息量；
(3)两个点数的各种组合（无序对）的熵或平均自信息量； (4)两个点数之和（即２、３、?１２构成的子集）的熵； (5)两个点数中至少有一个是１的自信息。
( LOG23≈1.585 LOG25≈2.3236 LOG211≈3.46 )
解：根据题意，同时扔两个正常的骰子，可能呈现的状态数有３６种，因为两骰子是独立的，又各面呈现的概率都是1/6，所以３６种中的任一状态出现的概率相等，为１/３６。
(1)设“３和５同时出现”这事件为Ａ。在这３６种状态中，３和５同时出现有两种情况即３、５和５、３。所以
21P(A)??
3618得 I(A)＝－LOGP(A)=LOG218≈4.17 比特
(2) 设“两个１同时出现”这事件为Ｂ。在这３６种状态中，两个１同时出现只有一种情况。所以
1 P(A)?36得 I(Ｂ)＝－LOGP(Ｂ)=LOG236≈5.17 比特
(3)设两个点数的各种组合（无序对）构成信源Ｘ，这信源Ｘ的符号集Ａ（样本集）就是这36种状态，所以Ａ＝{x1,x2, ?x36},并且其为等概率分布。得
?x1,x2,...,x36,??X???111? P(x)?????,,...,?36??3636 所以 H(X)=LOG236≈5.17 比特/符号(比特/状态)
(4) 设两个点数之和构成信源Ｚ，它是由两个骰子的点数之和组合，
即Ｚ＝Ｘ+Ｙ（一般加法）而
?1,2,3,4,5,6?6X?? P(x)??111111? ?p(x)?1 ?????,,,,,?i?1?666666??1,2,3,4,5,6?6Y????111111? p(y)?1 ?P(y)??,,,,,,????i?1?666666??2,3,4,5,6,7,8,9,10,11,12?Z??所以得P(z)??12345654321? ?????,,,,,,,,,,??3636363636363636363636? 满足
?p(z)?1
i?111 这是因为z=2是由x=1加y=1一种状态得到；z=3是由x=1加y=2和x=２加y=１两种状态得到；z=４是由x=1加y=３、x=２加y=２、x=３加y=１三种状态得到；其它类似。 由于Ｘ与Ｙ统计独立，可得
Ｐz（z）=?P(x)P(y)=
Y?X P(x)P(y) z=x+y
所以得
H(Z)=-
?Z P(z)LOGP(z)
=log236-[4/36log22+6/36 log23+8/36 log24
+10/36 log25+6/36 log26]
= log236-[26/36+12/36log23+10/36log25] ≈5.17-1.896=3.274 比特
(5) 在这36种状态中两个点数中至少有一个数是１的状态共有１１种，每种状态是独立出现的，每种状态出现的概率是１/３６。
现设两个点数中至少有一个数是１的事件为Ｃ事件，则得 Ｐ(C)=11/36
所以得 Ｉ(C)=－LOGP(C)=－LOG211/36≈1.71 比特
４、某校入学考试中有１/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。
(1)当已知考生来自本市时，给出多少关于考生是否被录取的信息； (2)当已知考生学过英语时，给出多少有关考生是否被录取的信息； (3)以x表示是否落榜，y表示是否为本市学生，z 表示是否学过英语，试求H(X)、H(Y/X)、H(Z/XY)。
解：设X表示是否落榜，其值为{a1=被录取，a2＝落榜}；Ｙ表示是否为本市学生，其值为{b1=本市，b2＝外地}；Ｚ表示是否学过英语，其值为{c1=学过，c2＝没学过}。
根据题意，P(a1)=1/4, P(a2)=3/4 P(b1/a1)=0.5, P(b1/a2)=0.1 P(b2/a1)=0.5, P(b2/a2)=0.9
P(c1/b1)=1, P(c1/a2b2)=0.4, P(c1/a1b2)=0.4 P(c2/b1)=0, P(c2/a2b2)=0.6, P(c2/a1b2)=0.6 可计算得
21 P(b1)= ?p(ai)p(b1/ai)?
5i?124 P(b2)= ?p(ai)p(b2/ai)?
5i?1p(a1)p(b2/a1)5P(a1/b2)= ?p(b2)32p(a2)p(b2/a2)27?P(a2/b2)=
p(b2)322 5i?123 P(c2/b2)= ?p(ai/b2)p(c2/aib2)?
5i?1213 P(c1)= ?p(bi)p(c1/bi)?
25i?1P(c1/b2)=
?p(ai/b2)p(c1/aib2)?2
122P(c2)=
?p(bi)p(c2/bi)?i?125 (1)当考生来自本市，已被录取的概率为
P(a/bp(a１)=1)p(b1/a1)51p(b?
1)8当考生来自本市，未被录取的概率为
P(abp(a2)p(b1/a2)3２/１)=p(b?（＝１－P(a1/b１)）
1)8当已知考生来自本市，给出关于考生是否被录取的信息为
2 H(X/b１) =??p(ai/b1)logp(ai/b1)
i?1 =－5/8log25/8－3/8log23/8≈0.954 比特 (2) 当已知考生学过英语，被录取的概率为
P(ap(a1/c１)=1)p(c1/a1)p(c
1)22其中 P(c1/a1)=
?p(bi/a1)p(c1/a1bi)??p(c1bi/a1)
i?1i?1因为本市的考生都学过英语，所以
P(c1/a１b１)=1, P(c1/a２b１)=1 P(c2/a１b１)=0, P(c2/a２b１)=0
得 P(c)?71/a１10
P(a351/c１)?104
同理 P(c231/a2)?50
P(a692/c１)?104
则当已知考生学过英语，给出关于考生是否被录取的信息为
2H(X/c１) =??p(ai/c1)logp(ai/c1)
i?1 =－35/104log235/104－69/104log269/104≈0.921 2 (3) H(X) =??p(ai)logp(ai)=0.811 比特/符号
i?122H(Y/X) =???p(ai)p(bj/ai)logp(bj/ai)
i?1j?1 =?111114?2log131139922?4?2log22?4?10log210?4?10log210
≈0.602 比特/符号
222H(Z/XY) =????p(ai)p(bj/ai)p(ck/aibj)logp(ck/aibj)
i?1j?1k?1
比特
