X X1X2 XN 表示，又称为随机序列。
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统
各随机变量之间无依赖且统计独立，则称此信源为连续平稳 无记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中， 各随机变量之间有依赖，则称此信源为连续平稳有记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
2.1.3信源输出的消息用随机过程描述
很多实际信源的输出消息常常是时间和取值都是连续的，例如语 音信号、热噪声信号、电视信号等时间连续函数。同时在某一具 体时间t0,它们的可能取值又是连续的和随机的。
计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下：
I ( x) log a
次只输出一个消息。 离散信源的数学模型：
X P(x)


x1 p( x1 )
x2
x3
p(x2 ) p(x3)

xq p(xq )

式中， 0 p(xi ) 1 (i 1, 2,L q)
q
p( xi ) 1
i 1
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源的数学模型及分类
2.1.1信源输出的消息用随机变量描述
信源的消息符号是离散的且是有限的，每次信源的输 出为单个的信源符号，且所有符号的概率满足完备性， 这是最基本的离散信源。如书信、文稿、电报等。
如果信源输出为连续信号，如语音、电压、温度、压力、 振动信号等，这些信源的输出都是连续的，随机取值的， 称为连续信源。其输出消息是不可数的。
若信源在不同时刻发出的符号之间是相互依赖的，这种信源为 有记忆信源。
通常符号之间的依赖关系（记忆长度）是有限的，若记忆长度 为m+1,则称这种有记忆信源为m阶马尔可夫信源。
用条件概率来描述随机序列中各随机变量之间依赖关系：
P(xi xi1xi xi1 xim x1) P(xi xi1xi2 xim )
信息论
信息论
主讲教师：李玉峰
电子信息工程学院
信息论
2.1 信源的数学模型及分类
通信过程是从信源开始的，信源发送的是消息或消息序列， 通信系统中传递的是消息，消息中包含信息。因此，我们通 过研究消息来研究信源。
在通信系统中收信者在收到消息之前，对信源发出的消息是 不知道的，是不确定的、随机的，所以可以用随机变量、随 机矢量或者随机过程来描述信源输出的消息。
电子信息工程学院
信息论2.1 信源的数学模型及分类
若信源先后发出的各个符号彼此统计独立，则：
P( X ) P( X1X 2 L X N ) P1( X1)P2 ( X 2 )L PN ( X N ) 若不同时刻的离散随机变量X i的取值于同一个符号集合
A : a1, a2,, aq 则有：
N
P(x i ) P(ai1ai2 L aiN ) P(aik ) ik 1
若该信源不同时刻发出的符号之间无依赖关系，彼此统计独立， 则为离散无记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
则信源X所输出的随机矢量X所描述的信源称为离散无记忆信 源X的N次扩展信源。
连续信源的数学模型是连续型的概率空间，用下式表示：
X
P



(a, b) p(x)

p(x) 0，
b
p(x)dx 1
a
电子信息工程学院
信息论2.1 信源的数学模型及分类
2.1.2信源输出的消息用随机矢量描述
实际信源每次输出的消息是按一定概率选取的符号序列，可 以看做是时间上或者空间的随机矢量。用N维随机矢量
通常用一个样本空间及其概率测度——概率空间来描述信源。
X

P



a1 p(a1 )
a2
L
p(a2 ) L
ai
L
p(ai ) L
aq
p(aq
)

q
0 p(ai ) 1 (i 1, 2,L , q)
p(ai ) 1
i 1
电子信息工程学院
信息论
2.1