信道转移概率矩阵
例题
多符号离散信道的统计特性
无记忆信道
互信息和平均互信息
1）互信息的定义 2）互信息的物理含义 3）互信息的性质 4）平均互信息的定义 5）平均互信息的性质 6）平均互信息与各类熵之间的关系
互信息的物理含义
互信息的性质
平均互信息
图 2.10 固定二元对称信道的互信息
第8章 信息论基础
本章内容
8.1 信息传输系统模型 8.2 离散信源及其信息度量 8.3 离散信道及其信道容量 8.4 连续信源熵与加性高斯信道容量 8.5 香农编码定理
8.3 离散信道及其信道容量
本节内容
8.3.1 离散信道的分类及统计特性 8.3.2 互信息和平均互信息 8.3.3 信道容量的定义 8.3.4 典型离散信道的容量 8.3.5 信源与信道的匹配
图
信道容量的定义
信道的信息传输率和信息传输速率 信道容量
f(q) f [p (1 )q] f ( p) (1 ) f (q)
f(p)
p
p (1 )q
q
p
信源与信道的匹配