b1 b2
: : :
bm
12
转移概率矩阵
b1
b2
bm
a1 p(b1 | a1) p(b2 | a1) p(bm | a1)
P
a2
p(b1 |
a2
)
p(b2 | a2)
p(bm | a2)
an
p(b1
|
an
)
p(b2 | an)
p(bm | an)
• P:转移概率矩阵
– 已知X,信道输出Y表现出来的统计特性
– 完全描述了信道的统计特性,其中有些概率是信 道干扰引起的错误概率,有些是正确传输的概率
m
p(bj | ai ) 1 i 1,2,n
j 1
13
• 反信道转移概率矩阵
– 已知Y,信道输入X表现出来的统计特性
a1
a2
an
b1 p(a1 | b1)
P
b2
p(a1 |
b2
)
p(a2 | b1) p(a2 | b2)
• 信道输入是n元符号
X∈{a1, a2, …, an} • 信道输出是m元符号
Y∈{b1, b2, …, bm}
• 转移矩阵
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
p12
p21
a2
p22
: : :
an
pnm
pij=p(bj|ai)
– 描述输入/输出的统计依赖关系,反映信道统计关 系
p(Y|X)
X
Y
信道
9
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率:
p(Y
|
X)
1, 0,
Y f(X) Y f(X)
10
有干扰无记忆信道
• 有干扰无记忆信道
• 转移矩阵
1
P
p 0
1 p 1 q
0 q
p 0
1-p
2
1-q 1
q
16
3.2 离散单个符号信道 及其容量
17
信道容量
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi ) p(y j
|
xi ) log
p(y j | xi ) p(y j )
n
p( y j ) p(xi ) p( y j | xi ) i1
• 信道的信息传输率就是平均互信息
18
信道容量
• 信道容量C：
– 最大的信息传输率
C max I (X ;Y ) p(ai )
• 单位时间的信道容量：
– 用条件概率矩阵来描述。 • 离散有记忆信道：
– 可像有记忆信源中那样引入状态的概念。
8
3.1.2 信道参数
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
• 信道转移概率矩阵p(Y|X)：
p(an | b1)
p(an
|
b2
)
bm
p(a1
|
bm
)
p(a2 | bm)
p(an | bm)
• p(ai|bj):后向概率
– 已知信道输出端接收到符号bj但发送的输
入符号为ai的概率。
14
二进制离散信道BSC
• 二进制离散信道BSC
– 输入符号X取值{0,1}； – 输出符号Y取值{0,1}
道中传输的过程遵循不同的物理规律, 通信技 术必须研究信号在这些信道中传输时的特性
– 信息论不研究信号在信道中传输的物理过程, 并假定信道的传输特性已知,这样信息论就可 以抽象地将信道用下图所示的模型来描述。
输入量X (随机过程)
p(Y|X) 信道
输出量Y (随机过程)
5
3.1.1 信道分类
• 按输入/输出信号在幅度和时间上的取值:
• 设信道的输入X∈A={a1 … an},输出Y∈B={b1 … bm}
• 无嗓无损信道
– 输入和输出符号之间有确定的一一对应关系
0 i j p(bj | ai ) p(ai | bj ) 1 i j (i, j 1,2,3)
1 C max I (X ;Y )
T p(ai )
19
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
20
3.2.1 无干扰离散信道
• 很重要的一种特殊信道 • 信道转移概率：
1-p
0
0
p
p
1
1
1-p
p(0|0) = 1－p p(0|1) = p
p(1|1) = 1－p p(1|0) = p
无错误传0输的概1 率 传输P发生1错pp误1的pp概 率10
15
二元删除信道BEC
• 二元删除信道BEC
– 输入符号X取值{0,1}； 0 – 输出符号Y取值{0,1,2}
信息论与编码
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
3
3.1 信道分类和表示参数
4
信道
• 信道：信息传输的通道
– 在通信中,信道按其物理组成常被分成微波信 道、光纤信道、电缆信道等。信号在这些信
• 无记忆信道：
– 信道的输出只与信道该时刻的输入有关,而 与其他时刻的输入无关
• 有无记忆信道：
– 信道的输出不但与信道现时的输入有关而且 还与输出信号之间的关系是否是确定关系:
• 无干扰信道：
– 输入/输出符号之间有确定的一一对应关系
• 有干扰信道：
– 输入/输出之间关系是一种统计依存的关系 • 输入/输出的统计关系： • 离散无记忆信道：
• 离散信道：
– 输入和输出的随机序列取值都是离散的信道
• 连续信道：
– 输入和输出的随机序列取值都是连续的信道
• 半离散(半连续)信道：
– 输入变量取值离散而输出变量取值连续
– 输入变量取值连续而输出变量取值离散
• 波形信道：
– 信道的输入和输出都是一些时间上连续的随
机信号。
6
信道分类
• 按输入/输出之间关系的记忆性来划分：
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足:
p(Y | X ) p( y1 | x1) p( y2 | x2) p( yL | xL )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
11
离散无记忆信道DMC