发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p ( X 2 ) … p (X l ) … p (X L ) 若该信源输出的每个符号是统计独立的，且具有相同的概率 空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
发出单个符号的无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,
X的概率分布为：
, an }
p(ai)是X =ai的先验概率
P { p(a1 ), p(a2 ),
, p(an )}
单符号离散信源的数学模型—概率空间
X a1 P p(a ) 1
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
X (a1 , a1 ) P p(a , a ) 1 1
(a1 , a2 ) p(a1 , a2 )
n i , j 1 i j
(an , an ) p(an , an )
p(ai , a j ) 0
p(a , a ) 1
2.1.1 无记忆信源Fra bibliotek---信源的基本特性：具有随机不确定性。
2.1 信源的描述和分类
信源的分类
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 离散信源: 文字、数据、电报—随机序列
信源
{ 连续信源: 话音、图像 随机过程
—
连续信源
指发出在时间和幅度上都是连续分布的连续消息 （模拟消息）的信源，如语言、图像、图形等都是 连续消息。
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1.1 无记忆信源
离散无记忆信源
所发出的各个符号是相互独立的，发出的符号序列 中的各个符号之间没有统计关联性，各个符号的出 现概率是它自身的先验概率。
发出单个符号的无记忆信源
——指信源每次只发出一个符号代表一个消息， 消息的数量是有限的。
例如扔骰子，每次实验结果必然是1～6点中的某一个面 朝上。每次实验的结果不随实验次数变化，也不与先前 的实验结果相关，因而该信源是单符号无记忆信源。可 用一个离散型随机变量X来描述这个信源输出的消息。
2.1.1 无记忆信源
p( X 1 , X 2 ,
Xl ,
X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
发出符号序列的有记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
此时的联合概率表示就需要引入条件概率来反映信源发出的 符号序列中各个符号之间的记忆特征：
2.1 信源的描述和分类
离散信源
指发出在时间和幅度上都是离散分布的离散消息的 信源，如文字、数字、数据等符号都是离散消息。
离散 离散无记忆信源 信源 离散有记忆信源
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
2.1 信源的描述和分类
第二章 信源与信息熵
2.1 信源的描述和分类
信源 ---产生消息(符号)、消息序列和连续消息的来源。 ---产生随机变量、随机序列和随机过程的源。
在通信系统中收信者在未收到消息以前对信源发出 什么消息是不确定的,是随机的，所以可用随机变量、 随机序列或随机过程来描述信源输出的消息,或者说 用一个样本空间及其概率测度—概率空间来描述信源。
或
R p ( x) X
px ( x) 0,

b
a
pX ( x)dx 1 或

R
pX ( x)dx 1
解释：信源输出的消息也是单符号，但消息的数量是无限的。 符号集A的取值是介于a和b之间的一个连续值，或者取值 为实数集R等。
2.1.1 无记忆信源
发出符号序列的信源
a2 p(a2 )
an p(an )
p(ai ) 0
p (a ) 1
i 1 i
n
2.1.1 无记忆信源
连续信源
——输出在时间和幅度上都是连续分布的消息 。
单符号连续无记忆信源
概率空间： p ( x ) P X
X ( a, b)
——输出信号在幅度和时间上都是连续的。
某一时刻的取值是随机的，通常用随机过程 {x(t )} 来描述。
通信系统中的信号都是平稳遍历的随机过程。
对于确知的随机波形信号，可以进行采样、量化，使其变换 成时间和幅度都是离散的离散信号。
根据时域采样定理，一个频率受限（0 f fm）、时间受限 （0 t tB ）的任何随机波形完全可以由 2tB fm 个采样值来描述。 一般情况下，这些采样值之间是线性相关的，所以随机波形信 源也是一种有记忆信源。
p( x1 , x2 , x3 ,
xL ) x1 ) p( x1 , x2 , xL 1 ) x1 ) p( x1 , x2 , xL 2 ) x1 ) p( xL 1 | xL 2 ,
p( xL | xL 1 , p( xL | xL 1 ,
2.1.2 有记忆信源
随机波形信源