m 1 n 1
2
2
f(im 1M 1,jn1N1)
2
2
多模态医学影像配准与融合技术研 究
(3.11)
东北大学信息科学与工程学院
H F H H M C T R I
IC T ( i,j) IM R I( i,j) ,D C T ( i,j) D M R I( i,j)(3.12)
D F H (i,j)1 12D 1 (i,j)1 22D 2(i,j) (3.5)
maD x1(i,j),D2(i,j)) hhma1xhma2x
DF(i,j)D D12((ii,,jj))
hhma1x,hhma2x (3.6)
hhma1x,hhma2x
DF H(i,j)
hhma1x,hhma2x
多模态医学影像配准与融合技术研 究
改进算法的流程图
东北大学信息科学与工程学院
输入图像 提取图像的边缘特征信息
采用基于Canny算子和小波 提升变换的边缘检测方法
计算特征点集合的互信息
归一化处理 配准提取的特征图像
采用归一化互信 息为测度
优化搜索
采用改进的鲍威尔算法，寻
根据配准参数配准原图像多模态医学找影像最配大准与归融合一技术化研互信息的位置
多模态医学影像配准与融合 技术研究
东北大学信息科学与工程学院
主要内容
课题背景
医学图像配准算法 基于小波变换的图像融合算法
基于PCNN的图像融合算法 基于BP的特征级图像融合算法
总结与展望
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
一、课题背景
由于医学图像仪器的成像机理的不同，使得不同模 态的医学图像反映人体信息不同，从单一源图像是 无法对病人进行全面诊断。图像配准和融合能将多 模态的图像信息进行互补，融合成一幅新的影像。 目前医学图像融合技术还处于起步阶段，故本文针 对多模态医学图像的融合方法及配准算法方面展开 研究。
究
❖ 仿真实验
东北大学信息科学与工程学院
(a)CT图像
(b)MRI图像
(c) 最大的互信息多配模准态医法学影像究配准与融(d合)技所术提研 方法
东北大学信息科学与工程学院
CT/MRI图像各配准方法的配准参数及性能比较
RMSE
传统的互信息配准方法 19.43
所提方法 15.32
R
0.9216
0.9812
东北大学信息科学与工程学院
高频分量பைடு நூலகம்融合规则
➢ 亮度信息
I(i,j)1 M Nf(i m M 1 ,j n N 1 ) (3.10)
M N m 1 n 1
2
2
➢ 细节信息
D (i,j) M Nf(i m M 1 1 ,j n N 1 )m M 1 n N 1f(i m M 2 1 ,j n N 2 1 )
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
将融合图像的小波系数和尺度系数进行小波逆变 换，即可得到重构后的医学融合图像。
❖ 仿真实验
(a) CT图像
(b) MRI图像
多模态医学影像配准与融合技术研 究
(c)拉普拉斯金字塔 融合算法
东北大学信息科学与工程学院
(d)梯度金字塔融合 (e)形态学金字塔融合 (f)小波变换融合算法
i
Ei E1 E2
(3.2)
Ei Pi2(m,n) (m,n)w
(3.3)
对于小波系数，首先使用下式确定医学源图像 高频分量的边缘点和非边缘点，保护边缘点对 应的小波系数；
M 1 G (f B ) (f B )
(3.4)
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
对非边缘点用式(3.5)进行小波系数融合。然后 用式(3.6)获得融合图像的小波系数。
水平和垂直偏移量
（9.02 8.52）
（9.93 9.56）
角度偏移量
9.597
9.960
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
三、基于小波变换的图像融合算法
小波变换具有良好的时频局域化特性及多尺度分析 能力,非常适合于图像处理。基于小波变换的影像 融合算法被广泛应用于图像融合处理中，其性能优 于传统的图像融合方法。
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
（一）基于可分离小波变换的图像融合算法
具体步骤： 对待融合的医学源图像分别进行小波变换分解； 对于尺度系数，使用下式合并医学源图像对应的
尺度系数；
LFω 1L1ω 2L2
(3.1)
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
二、医学图像配准算法
❖ 医学图像配准的定义：是寻求两幅图像间的几何 变换关系，通过这一几何变换，使两幅医学图像 上的对应点达到空间上的一致，这种一致是指人 体上的同一解剖点在两张匹配图像上具有相同的 空间位置。
多模态医学影像配准与融合技术研 究
算法
算法
多模态医(g学) 影所像提配准算与法融合技术研
究
东北大学信息科学与工程学院
CT/MRI实验结果的质量评价
信息熵
拉普拉斯金字 塔融合算法
10.9112
梯度金字塔融 合算法
12.6785
形态学金字塔 融合算法
12.8352
小波变换融合 算法
14.2646
所提算法 17.5947
平均交叉熵
7.8325
低频分量的融合规则
L F=H fC T H + fC H TfM R IL C T+H fC H T+ fM H R IfM R IL M R I (3.7)
MN
Hf
Pijlo2gPij
i1 j1
MN
Pij I(i, j)/I(i, j) i1 j1 多模态医学影像配准与融合技术研
究
(3.8) (3.9)
东北大学信息科学与工程学院
❖ 最大互信息配准方法的基本思想 在多模医学图像配准中，基于两幅图像中的相 同目标在空间上对齐时相关性最强，对应像素 灰度的互信息达到最大，从而可以根据最大互 信息的位置找到最佳配准。
❖ 缺点：由于互信息函数不是分布良好的凸函数， 从而导致误配准，同时计算量较大，耗时较长。
5.3726
5.1462
4.5216
3.2514
平均梯度
31.5892
33.0123
35.5428
37.2567
39.5492
相关系数
0.59845
0.6052
0.61643
0.64030
0.7067
多模态医学影像配准与融合技术研 究
东北大学信息科学与工程学院
（二）基于不可分离小波变换的图像融合算法