预备知识： 预备知识：二、信息论基本知识
1、熵
信号中平均所含有的信息量。随机信号 x x H 单变量： ( x) = − ∫ p( x) log p( x)dx = − E (log p( x)) 多变量： 联合熵：H (x) = − ∫ p(x) log p(x)dx = − E (log p(x)) 各分量独立时： H (x) = ∑ H ( xi )
期望 k 1 = m1 方差 k 2 = m 2 − m12 k 3 = m3 − 3m 2 m1 + 2m13 k 4 = m 4 − 3m 2 2 − 4m3m1 + 12m 2 m12 − 6m14
s1= s 2 =L= sM = 0
n = n1 +L nM
预备知识： 预备知识：一、统计数学知识
当各分量独立时：
Kn1, n 2, L , nM
∂ nψ (s) = n1 ∂s1 , ∂s 2 n 2 ,L , ∂sM nM
s1= s 2 =L= sM = 0
n = n1 +L nM
只有 n1, n 2, L , nM 中一个非零，其他皆为零时， Kn1, n 2 , L , nM 不为零。 即互累计量为零。 (可作为检验独立的一个判据)
q( x)
多变量： 特点：
p ( x) KL[ p (x), q (x)] = ∫ p(x) log dx q ( x)
KL[ p ( x), q ( x)] ≥ 0
KL=0 ⇔ p( x) = q( x)
y = Bx, B ≠ 0 ⇒ KL[p (y ),q(y )] = KL[p (x),q (x)]
2.混合矩阵
A ∈ R m×n
,为列满秩的矩阵，即rank( A )=
k。
3.在 s (t ) 的分量中，服从高斯分布的分量不超过一个。 分离结果的不确定性： 分离结果的不确定性： 1：幅值的不确定性；2：排列次序的不确定性
目录
目录 问题的提出 预备知识 一、统计数学知识 二、信息论基本知识 三、概率密度函数的展开 四、信号通过线性系统信息特征的变化 独立分量法介绍 总结与展望
源图像
混合后的图像
分离后的图像
问题的提出： 、 问题的提出：3、独立分量分析法的基本问题
几点说明：
1、解出来的Y只要求各分量独立，因而解不是唯 一的，可以有相移、次序颠倒、幅值变化等 2、要解出Y，需要对Y各分量是否独立进行判断。 确切地说，需要找到某种判断函数G，使Y个分量 独立时G(Y)达到最大或最小值。 3、由于独立判据函数G的不同，以及求解Y的步 骤不同，有不同的独立分量分析法。
多变量 ψ (s) = log φ (s)
M
各分量独立时：
φ (s)=∏ φ ( si )
i =1 M
ψ (s)= ∑ψ ( si )
i =1
预备知识： 预备知识：一、统计数学知识
3、矩
n阶矩：单变量
d nφ ( s ) mn = ds n
s =0
= E( xn )
s 1= s 2 =L= sM = 0
p ( x) k3 k4 ≈ 1 + H 3( x) + H 4( x) Hn( x), Hermite多项式 pG ( x) 3! 4! 1 ⇒ J [ p( x)] ≈ [4k 32 + k 4 2 + 7k 43 − 6k 32 k 4] 48
Gram-Charlier展开
1 J [ p( x)] ≈ [4k 32 + k 4 2 − 3k 34 − 18k 32 k 4] 48
ye
F ( y) :
(2)
− ( y 2 / 2)
Байду номын сангаас
−e
− ( y 2 / 2)
y
预备知识： 预备知识：四、信号通过线性系统信息特征的变化
信号通过线性系统 熵关系：
H (y ) = H (x) + log B
线性系统
x(t )
y (t ) = Bx(t )
B
|B|=1，即系统正交归一时，熵不变
KL散度关系：
预备知识： 预备知识：二、信息论基本知识
3、互信息
I (x) = KL[ p(x), ∏ p( xi )]
可见 I ( x) ≥ 0 ，当仅但当各分量独立时， I (x) = 0 互信息是各分量独立程度的最直接的量度！
i =1 N
预备知识： 预备知识：二、信息论基本知识
4、负熵
任意概率密度函数p(x)
KL[ p ( x), p (y )] = log B
|B|=1，即系统正交归一时，KL散度为0
s1(t )
s 2(t )
混合 系统
信 道1
x1(t )
x 2 (t )
y1(t )
信道2
信道3
解混 矩阵
y 2(t )
s 3(t )
x 3(t )
y 3(t )
M
sM (t )
A
M
信道n
M
xM (t )
B
M
yM (t )
S(t)
X(t)
Y(t)
问题的提出： 、 问题的提出：2、独立分量分析法的基本问题
J [ p ( x)]=KL[p (x),pG ( x)] = HG ( x) − H ( x)
pG(x): 与p(x) 其具有相同协方差阵的高斯分布 因为在协方差矩阵相同的概率密度函数中，高斯分 布的熵最大，所以负熵非负。
1 ∏Vii I ( px ) = J ( px ) − ∑ J ( pxi ) + log 2 det V i =1
鸡尾酒会问题：从酒会的嘈杂的声音中，如何分 辨出所关心的声音
问题的提出： 、 问题的提出：4、独立分量分析法的历史与应用
应用：盲分离问题的研究在短短的二十年时间里，已经取 得显著的成效，也正因为信号盲分离技术具有如此广阔的 应用前景，促使国内外广大的科研工作者迅速投身这一领 域的研究，盲分离技术也因此获得了飞速的发展。然而， 这一领域的研究工作还远不能满足工程的需要，特别在单 路混叠信号的盲分离与应用方面，是一个基本的、极富挑 战性的研究课题。 信号处理
x(t)=As(t)
x = [x1(t), x2 (t),L, xm (t)]T s = [s1(t), s2 (t),L, sk (t)]T
为了保证上式的可分解性。需有如下的假设限制（约束条件） ： 1.每个源信号之间是统计独立的，其联合概率密度函数可分解为边缘密度的 乘积。
P( s1 , s2 ,..., sn ) = p1 ( s1 ) p2 ( s2 )... pn ( sn ) A
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
一、信号与随机变量间的关系 问题：随机变量X在实际中的体现？ {X } 答：独立重复试验，得到试验样本集{Xi}。 由这组数据样本点可以估计出随机变量 的各阶矩，近而估计出pdf（probability distribution function)等全部统计信息。
问题的提出： 、 问题的提出：1、信号与随机变量间的关系
对一个信号X(t)： 独立重复试验 ———— 抽样ti， i=1,2, …N 样本集 ———— {X(ti)} 因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩， 以及谈论它的pdf，独立、相关等统计特性。 例如： 1 N 1 N 2
码分多址通信，雷达信号分选等
生物医学
心电图(胎儿)，脑电图等
图像处理
图像压缩，数字识别，图像融合等
其他
地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、 机械、化学等各个学科
s =∈1R ),×sn2 (t),L, sk (t)]T A [s (tm
模型与假定
设某个混合系统由个k传感器和m个信号源组成，其混合模型可以表述如下：
预备知识： 预备知识：一、统计数学知识
1、特征函数
单变量 多变量
jω x jω x
φ (ω ) = ∫ p( x)e dx = E[e
替换
]
φ (ω) = ∫ p(x)e
φ (s)
jωT x
dx = E[e
jωT x
]
s = jω
φ ( s)
2、第二特征函数
单变量 ψ ( s ) = log φ ( s )
简化假设： 1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵) 2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)
X(t ) = AS(t ) Y(t ) = BX(t )
信号源
s1(t )
s 2 (t )
N点采样
M ×N
X = A× S
M ×M
M ×N
Y = B × X
M ×M
M ×N
缺点： 大值野点会引 起较大误差
预备知识： 预备知识：三、概率密度函数的展开
非多项式函数的加权和形式：
文献提到，当 p ( y ) 与标准高斯分布 pG ( y ) 相差不太大时， p ( y )可用若干个非多项式函数 F (i) ( y )(i = 1 ~ N ) 的加权和来逼 近： N
p ( y ) = pG ( y )[1 + ∑ ciF ( i ) ( y )]
（联合矩）
多变量 Mn1, n 2 , L , nM
∂ nφ (s) = n1 ∂s1 , ∂s 2 n 2 , L, ∂sM nM
4、累计量
n阶累计量：
单变量
n = n1 +L nM
d ψ ( s) kn = ds n
n
s =0
多变量 （联合累计量）
Kn1, n 2, L , nM