2020/3/3
西安电子科技大学
11
四、概率复习内容
rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=yj)。 如果X与Y相互独立，则对任何k=1~K，j=1~J ，都成立
rkj=qkwj。 换句话说，对任何k=1~K，j=1~J ，都成立
P(Y=yj| X=xk)=wj。 P(X=xk| Y=yj)=qk。 数学期望（均值）：
（随机性大，可预见性小，因此该消息随机变量含有的信息 量大。）
2020/3/3
西安电子科技大学
6
三、信息的概念
第四个重要概念：两个消息随机变量的相互依赖性越大， 它们的互信息量就越大（这里指的是绝对值大）。
例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明 日平均气温，W=纽约明日平均气温。则
K
EX xk qk k 1
J
EY y j w j j 1
2020/3/3
西安电子科技大学
12
四、概率复习内容
连续型随机变量
连续型随机变量X的所有事件x有不可列无穷多个，对应的密度 函数为fX(x)，-∞<x<+∞。通常将此随机变量记为{X, fX(x)}。
连续型随机变量Y的所有事件y有不可列无穷多个，对应的密度 函数为fY(y)，-∞<y<+∞。通常将此随机变量记为{Y, fY(y)}。
( x, y)R2


dx{ dyf(X ,Y) (x, y)} dy{ dxf(X ,Y) (x, y)}


1
2020/3/3
西安电子科技大学
14
四、概率复习内容
联合密度与边际密度的关系：


fX (x) f(X ,Y) (x,u)du

x1
r11
r12
r1J

KJ
(X,Y) ~
x2
r21 r22
r2J ,
其中
k
1
rkj
j 1
1
xK rK1 rK 2 rKJ
2020/3/3
西安电子科技大学
10
四、概率复习内容
联合分布、边际分布、条件分布的关系：
J
qk rki, k 1 ~ K i 1
西安电子科技大学
信源 译码器
信宿
2
二、Shannon信息论的 中心问题
“信息论”，又称为“通信的数学理论”，是研究信息的传 输、存储、处理的科学。
信息论的中心问题：为设计有效而可靠的通信系统提供理论 依据。
（具体地说，就是信源编码和信道编码。以下来看所要解决 的具体问题。）
问题一：信源消息常常不能够完全发送。（否则发送量巨 大，比如：无尽的天空。因此优先捡有用的发送）
Y
~
y1 w1
y2 w2
yJ
wJ
,
其中
J j 1
wj
1
2020/3/3
西安电子科技大学
9
四、概率复习内容
两个离散型随机变量X与Y连立，得到了二维离散型随机变量(X, Y)。(X, Y)的所有事件为{(xk, yj), k=1, 2, …, K; j=1, 2, …, J}。
K
wj rij , j 1 ~ J i 1
P(X

xk
|Y

yj
)

P((X ,Y) P(Y

(xk , yj)
yj
))

rkj wj

rkj
K
rij
i1
P(Y

yj
|
X

xk
)

P((X ,Y) P(X
(xk , xk )
yj
))

rkj qk

rkj
J
rki
i1
问题二：信道因干扰而出现差错，如何进行检错和纠错。
2020/3/3
西安电子科技大学
3
三、信息的概念
（直观地认识信息和信息量，不使用定义）
第一个重要概念：信道上传送的是随机变量的值。注意： （1）这就是说，我们在收到消息之前，并不知道消息的内
容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。
第一章：引论（简介）
一、通信系统模型 二、Shannon信息论的中心问题 三、信息的概念 四、概率复习内容
2020/3/3
西安电子科技大学
1
一、通信系统模型
信源、信道、信宿 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。
信源 编码器
信道 编码器
信道
信道 译码器
信源
2020/3/3
干扰源
X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。
2020/3/3
西安电子科技大学
7
四、概率复习内容
记号
P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下， 事件A发生的条件概率。EX表示随机变量X的数学期望。 离散型随机变量
离散型随机变量X的所有事件为{x1, x2, …, xK}，对应的概率为 P(X=xk)=qk，k=1, 2, …, K。通常将此随机变量记为{X, xk, qk, k=1~K}。又X的分布列（分布矩阵）记为：
X
~
x1 q1
x2 q2

xK
qK
,
K
其中
k 1
qk
1
2020/3/3
西安电子科技大学
8
四、概率复习内容
另一个离散型随机变量Y的所有事件为{y1, y2, …, yJ}，对 应的概率为P(Y=yj)=wj，j=1, 2, …, J。通常将此随机变 量记为{Y, yj, wj, j=1~J}。又Y的分布列（分布矩阵）记 为：
对应的概率为P((X, Y)= (xk, yj))=rkj，k=1, 2, …, K; j=1, 2, …, J。 通常将此二维随机变量记为{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}。
(X, Y)的联合分布列（联合分布矩阵）为：
X \ Y y1 y2 yJ
2020/3/3
西安电子科技大学
4
三、信息的概念
第二个重要概念：事件发生的概率越小，此事件含有的 信息量就越大。（不太可能发生的事件竟然发生了， 令人震惊）
例 事件“中国足球队3：0力克韩国足球队”含有的信息 量大。（小概率事件发生了，事件信息量大）
例 事件“中国足球队0：1负于韩国足球队”含有的信息 量小。（大概率事件发生了，事件信息量小）
fY ( y) f(X ,Y) (u, y)du
如果X与Y相互独立，则对任何(x, y) ，都成立
f(X,Y)(x, y)= fX(x) fY(y)。 数学期望（均值）：


EX xfX (x)dx
EY yfY (y)dy


2020/3/3
西安电子科技大学
15
2020/3/3
西安电子科概念：消息随机变量的随机性越大，此消息随机 变量含有的信息量就越大。
例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”， 则消息随机变量X含有的信息量小。
（随机性小，可预见性大，因此该消息随机变量含有的信息 量小。）
例 消息随机变量X=“意大利足球队与德国足球队比赛的结 果”，则消息随机变量X含有的信息量大。
我们知道

fX (x)dx 1


fY (y)dy 1

2020/3/3
西安电子科技大学
13
四、概率复习内容
两个连续型随机变量X与Y连立，得到了二维连续型随机变 量(X, Y)。(X, Y)的所有事件为{(x, y)}。对应的联合密度 函数为f(X,Y)(x, y)。其中
f(X ,Y) (x, y)dxdy