可靠性高——要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 有效性高——经济效益好，即用尽可能短的时间的尽可能少的设备来传送一定数量的信息。 保密性——隐蔽和保护通信系统中传送的消息，使它只能被受权接收者获取，而不能被未受权者接收和理解。
认证性——接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。 3、研究内容
三种理解： （1）狭义信息论（经典信息论）
研究信息的测度、信道容量以及信源和信道编码理论等问题。
香农基本理论
（2）一般信息论
香农理论、噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息
处理理论以及保密理论等。
（3）广义信息论
4
第二章 离散信源及其信息测度 2.1 信源的数学模型及分类
根据信源输出消息的不同的随机性质分类。 一、随机变量X描述信源输出的消息 1、离散信源
信源输出的消息数是有限的或可数的，每次只输出一个消息。 数学模型——离散型的概率空间
q,?,aq??X??a1,a2, ????P(a),P(a),?,P(a)? （?P(ai)?1：完备集条件）
P(x)i?1???12q??2、连续信源
信源输出的消息数是无限的或不可数的，每次只输出一个消息。 数学模型——连续型的概率空间 ??X??(a,b)? 或 ?????p(x)??p(x)?b?R?p(x)dx?1或?p(x)?1：完备集条件） （?p(x)??aR??二、随机序列X描述信源输出的消息
根据X的平稳性与否，分平稳信源与非平稳信源。 1、离散平稳信源
信源输出的随机序列X?(X1,X2,?,XN)中Xi(i?1,2,?,N)为取值离散的离散型随机变量，X的各维概率分布都与时间起点无关（任意两个不同时刻X的各维概率分布都相同）。 2、连续平稳信源
信源输出的随机序列X?(X1,X2,?,XN)中Xi(i?1,2,?,N)为取值连续的连续性随机变量，X的各维概率密度函数都与时间起点无关（任意两个不同时刻X的各维概率密度函数都相同）。 3、离散无记忆信源（离散平稳信源）
信源输出的随机序列X?(X1,X2,?,XN)中Xi(i?1,2,?,N)统计独立，Xi取值于同一概率空间X。
P(x??i)?P(ai1ai2?aiN)??P(aik?1qik)
4、离散无记忆信源X的N次扩展信源
由离散无记忆信源输出N长的随机序列构成的信源。
,?,?qN??XN???1,?2, ?? ???P(?),N1P(?2),?,P(?q)??P(?i)??? ?i?(ai1ai2?aiN)(i1,i2,?,iN?1,2,?q)
5
满足P(x??i)?P(ai1ai2?aiN)?5、有记忆信源
?P(aik?1qik)
?P(?)???P(aii?1i?1ik?1qNqNqik)?1
信源输出的随机序列X?(X1,X2,?,XN)中Xi(i?1,2,?,N)之间有依赖关系。 6、马尔可夫信源
信源输出的随机序列X?(X1,X2,?,XN)中Xi(i?1,2,?,N)之间有依赖关系。但记忆长度有限。若记忆长度为m+1，则称为m阶马尔可夫信源。（信源每次发出的符号只与前m个符号有关，与更前面的符号无关。） P(xi|?xi?2xi?1xi?1xi?2xi?3?xi?m?x1)?P(xi|?xi?2xi?1xi?1xi?2xi?3?xi?m) (i?1,2,?,N) 若上述条件概率与时间起点i无关，该信源称为时齐马尔可夫信源。 三、随机过程x(t)描述信源输出的消息
随机波形信源
信源输出的消息是时间（或空间）上和取值上都是连续的函数。
转换关系：
随机波形信源→取样→连续平稳信源 连续信源→分层（量化）→离散信源
2.2 离散信源的信息熵
离散信源——输出是单个符号的消息，且这些消息是两两互不相容的。 可用一维随机变量来描述。
q,?,aq??X??a1,a2,?P(x)???P(a),P(a),?,P(a)? （?P(ai)?1：完备集条件）
i?1???12q??2.2.1 自信息
获得信息量的大小与不确定性消除的多少有关。
例2.1 （P20）
收到某消息获得的信息量（即收到某消息后获得关于某基本事件发生的信息量） =不确定性减少的量
=（收到此消息前关于某事件发生的不确定性）-（收到此消息后关于某事件发生的不确定性） 无噪声时，
收到某消息获得的信息量
=收到此消息前关于某事件发生的不确定性 =信源输出的某消息中所含有的信息量
事件发生的不确定性与事件发生的概率有关。
（事件发生概率越小，不确定性就大；事件发生概率越大，不确定就越小。） 某事件发生所含有的信息量：I(ai)?f[P(ai)]——自信息量
6
函数f[P(ai)]满足：
（1）f[P(ai)]应是先验概率P(ai)的单调递减函数，即当P1(a1)?P2(a2)时，f[P1]?f[P2] （2）当P(ai)?1，f[Pi]?0 （3）当P(ai)?0，f[Pi]??
（4）统计独立信源的信息量等于它们分别的信息量之和。 可得：I(ai)?log例2.2 （P22）
设离散信源X，其概率空间为
1 P(ai),?,aq??X??a1,a2,?P(x)???P(a),P(a),?,P(a)? ???12q??如果知道事件ai已经发生，则该事件所含有的信息量称为自信息，定义为I(ai)?log1 P(ai)I(ai)含义：1）、当事件ai发生以前，表示事件ai发生的不确定性；
2）、当事件ai发生以后，表示事件ai所含有的信息量。
I(ai)?log2111（比特）；I(ai)?ln（奈特）；I(ai)?lg（哈特）。 P(ai)P(ai)P(ai)1奈特=1.44比特，1哈特=3.32比特。
2.2.2 信息熵
自信息I(ai)——随机变量
平均自信息量——自信息的数学期望
q1H(X)?E[log]???P(ai)logP(ai)——熵（信息熵）
P(ai)i?1qHr(X)?E???P(ai)logrP(ai) (r进制单位/符号)
i?1信息熵的含义：
1、 表示信源输出后，每个消息（符号）所提供的平均信息量。 2、 表示信源输出前，信源的平均不确定性。 3、 表征变量X的随机性。
信息熵——信源的平均不确定的描述。一般情况下，并不等于平均获得的信息量。
7
