医学图像融合技术及使用1医学图像融合技术1.1图像融合的内涵图像融合是指将多源图像传感器所采集到的关于同一目标的图像经过一定的图像处理,提取各自的有用信息,最后综合成同一图像以供观察或进一步处理。
从信息论的角度讲,融合后的图像将比组成它的各个子图像具有更优越的性能,综合整体信息大于各部分信息之和,也就是说,融合的结果应该比任何一个输入信息源包含更多的有用信息,即1+1>2,这就是图像信息的融合2。
1.2医学图像融合的分类一个完整的医学图像融合系统应该是各种成像设备、处理设备与融合软件的总和。
因为融合图像的应用目的不同,决定了医学图像融合具有各种各样的形式。
根据被融合图像成像方式不同,可分为同类方式融合和交互方式融合。
同类方式融合(也称单模融合,mono2mo2dality)是指相同成像方式的图像融合,如SPECT图像间融合,MR图像间融合等;交互方式融合(也成多模融合,multi2mo2dality)是指不同成像方式的图像融合,如SPECT与MR图像融合,PET与CT图像融合等。
按融合对象不同,可分为单样本时间融合、单样本空间融合以及模板融合。
单样本时间融合：跟踪某一病人在一段时间内对同一脏器所做的同种检查图像实行融合,可用于对比以跟踪病情发展和确定该检查对该疾病的特异性;单样本空间融合：将某个病人在同一时间内(临床上将一周左右的时间视为同时)对同一脏器所做几种检查的图像实行融合,有助于综合利用多种信息,对病情做出更确切的诊断;模板融合：是将病人的检查图像与电子图谱或模板图像实行融合,有助于研究某些疾病的诊断标准。
另外,还能够将图像融合分为短期图像融合(如跟踪肿瘤的发展情况时在1~3个月内做的检查图像实行融合)与长期图像融合(如治疗效果评估时实行的治疗后2~3年的图像与治疗后当时的图像实行融合)。
综上所述,依据不同的分类原则,医学图像融合有多种方式,在实际应用中,临床医师还能够根据各种不同的诊断与治疗目的持续设计出更多的融合方式。
1.3医学图像融合的主要技术方法与步骤医学图像融合的过程是一个渐进的过程,不同的融合方法有各自具体的操作和处理,但是,不管应用何种技术方法,图像融合一般都要经过三大主要的步骤来完成,分别是图像预处理、图像配准和融合图像的创建。
1.3.1图像预处理医学图像预处理是指对获取的各种图像数据做去除噪声、对比度增强、感兴趣区域分割等处理,统一各种数据的格式、图像大小和分辨率,对于有条件的图像还能够实行重新断层分层以确保图像在空间分辨率和空间方位上的大体接近。
在此基础上,还可根据目标特点或不同应用目的建立适当的数学模型。
一系列空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。
这种一致是指人体上的同一解剖点在两幅匹配图像上有相同的空间位置,配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。
图像配准是图像融合的先决条件与关键,图像配准精度的高低直接决定着融合结果的质量。
当前,已存有多种配准方法,文献3对医学图像配准技术做了详细的归纳和总结,配准处理一般能够分为图像变换和图像定位两步：(1)图像变换：其目的在于确保多源图像的像素或体素表达的实际空间区域相同。
确保多源图像对同一脏器在空间描述上的一致性。
图像的变换包括平移、旋转、定标、反射等处理,医学图像常用的基本变换有：刚体变换、仿射变换、投影变换和非线性变换。
在图像融合实践中,以上几种方法经常联合使用,一般都由计算机自动完成,并可实行一些人工的修正,从而提升结果的准确性。
(2)图像定位：在实际应用中,图像分辨率越高,图像细节越丰富,实现点到点意义的对应难度越大。
图像的定位(配准)方法可大致分为两大类：基于外部定位和基于内部特征的方法。
基于外部定位的方法有：定标架法、面膜法和皮肤标记法等,其优点是定位简单,精度高(一般都可达到像素级的精度),缺点是这些方法仅限于刚体变换,而且有时会对人体产生一定水准的损伤。
基于内部特征的方法是从不同成像模式中提取共有特征的体位标志实行定位,这些体位标志包括解剖标志、几何标志、局部点、线、表面轮廓特征和像素特征等,这类方法仅基于病人自身图像的信息,是回顾性算法,不需在成像之前对病人做任何特殊处理,缺点是内部标志的寻找相当困难和麻烦,计算量大,需要人为介入,配准精度由具体算法决定。
其主要方法有：①标志点法：包括解剖标志点法和几何标志点法;②图像分割配准法：包括曲线法、表面法等;③基于像素特征的配准法：有矩和主轴法、相关法、最大互信息法和图谱法等。
近年来小波变换也被应用于图像配准中,它能够利用在低分辨率下的配准参数作为基础和引导,得到在高分辨率下更为准确的结果,这种方法有较强的鲁棒性,而且能够加快配准时间。
此外,基于一定数学物理模型的非线形配准也是近年研究的热点。
1.3.3医学图像融合医学图像在空间域配准之后,就能够实行融合了,融合图像的创建又分为图像数据的融合与融合图像的显示两部分来完成。
(1)图像数据融合：在当前的研究中,主要有两类方法：以像素为基础的方法和以图像特征为基础的方法4。
以像素为基础的方法,即点对点的方法。
因为像素是图像的基本元素,像素间灰度值的差异显现出图像中所包含的结构信息,所以简单地把两幅图像对应像素点的灰度值实行加权求和、灰度取大或者灰度取小等操作,便可得到一幅融合图像。
这类方法是对图像实行逐点处理,所以用到的数学原理易于理解,算法实现也比较简单,不过实现效果和效率都相对较差,融合后图像会出现一定水准的模糊。
以图像特征为基础的方法,要对图像实行特征提取、目标分割等处理,用到的算法原理复杂,但是实现效果却比较理想,能够满足诊断的要求。
现有的基于图像特征的融合方法几乎都是从变换域上的图像编码和压缩技术延伸来的,有Laplacian金字塔法5、Gaussian 金字塔法6、比率低通金字塔法7、多分辨率形态滤波法8和小波变换法9等,这类方法融合的一般步骤为：①将源图像分别变换至一定的变换域上;②在变换域上设计一定的融合规则;③根据选择的规则在变换域上创建融合图像;④逆变换重建融合图像。
(2)融合图像的显示：融合图像有多种直观的显示方法,常用的有伪彩色显示法、断层显示法和三维显示法等。
①伪彩色显示法：因为人眼对彩色图像的分辨水平是灰度图像的几千倍,所以对融合图像采用伪彩色显示可大大提升观察者对图像特征的识别水平。
融合图像的伪彩色显示往往是以某个图像为基准,该图像用灰度色阶显示,另一幅图像叠加在基准图像上,用彩色色阶显示;②断层显示法：对于某些图像能够将融合后的三维数据以横断面、冠状面和矢状面断层图像同步地显示,便于观察者实行诊断,这种显示要求观察者对于图像三维层面特征有丰富的经验;③三维显示法：将融合后的三维数据以三维图像的形式显示,使观察者可更直观地观察病灶的空间解剖位置,这在外科手术设计和放疗计划制定中有重要意义。
2医学图像融合的应用前景经过近些年的研究,图像融合技术已开始应用在临床治疗和影像诊断中,并取得了很多令人可喜的成果。
原发癫痫病灶的准确定位一直是困扰医学影像界的一大难题,很多学者利用融合技术对此做了富有成效的探索。
例如：Pelizzari等10对癫痫病人的MRI、PET图像融合处理后,可观察到病人的脑外伤、炎症、硬化症等的变化,还可看到手术及麻醉前后的区别;Lewis等11研究表明,于发作期和发作间期对癫痫患者分别实行SPECT检查,将二者的图像相减,再分别于MRI图像融合,可使功能损伤的解剖学标记更准确,以SPECT所示的局部脑血流对大脑新皮质的癫痫灶准确定位,从而为手术提供重要依据。
将图像融合技术应用于脑颅成像中,能够精确定位颅内病变,提升诊断准确性。
例如：Hill等12融合CT和MRI图像,建立了大脑的三维坐标系统,以辅助脑的定位治疗,其定位精度高于单独从一个图中的定位;Rubinstein等13使用T1、TC、FDG脑图像与MR图像融合对脑肿瘤手术或放疗后的变化和复发实行监测,对发现治疗后肿瘤体积大小改变,区别肿瘤坏死与复发部分,均具有极高的诊断价值。
在胸腹部图像融合的应用中,因为胸腹部脏器形状不规则又易受呼吸游动影响,很难做到精确配准,所以这方面的融合报道较少,但也有学者实行了有益的尝试。
如：Li14将MR融合到三维PET代谢图中,显示代谢与解剖信息,在对内脏肿瘤患者的试验中,以不同色彩显示腹部各区域的三维图像;Magnani等15证实,CT/PET对非小细胞肺癌侵犯纵隔淋巴结的分期诊断中,二者的融合图像比单纯应用CT 或PET更为准确。
在放射治疗的应用中,利用融合图像精确定位照射区与周围正常组织的空间关系,可减少周围正常组织的放射性损伤。
Wong 等16对轫致辐射SPECT和CT图实行三维融合,从而定位要实行放射治疗的灌注后肿瘤,得到良好效果;Pinz等17应用图像融合技术测定用核素标记的单抗治疗淋巴瘤、肺癌和前列腺癌等恶性肿瘤的剂量,可详细确定其放射性分布。
在外科手术的应用中,准确了解病变与周围组织的关系对制定手术方案,决定手术是否成功至关重要,Sannazzari等18以融合技术确定放射线标记的单克隆抗体聚积(SPECT)的解剖结构(CT),可对术前及治疗中的肿瘤实行精确分级和定位。
3医学图像融合技术难点与存有的问题当前,医学图像融合技术中还存有很多尚未解决的技术难题。
首先,因为各种成像系统的成像原理不同,其图像采集方式、格式以及图像的大小、质量、空间与时间特性都有很大差别,所以研究稳定且精度较高的全自动医学图像配准与融合方法是图像融合技术的难点之一;其次,图像理解是医学图像融合的最终目的,图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息,因为图像融合技术当前还是一个全新的研究领域,所以,如何理解和利用这些新的综合信息,还需要持续地实验和证明;最后,因为在实际图像融合时,很多差异都是未知的,不可能达到绝对的最优,到当前为止,在多种多样的图像融合优化准则中,很难说某一种准则一定比另一种好,特别是不存有一种绝对完美的融合图像做参考,所以进一步研究能够客观比较和评价不同方法融合性能的标准也是亟需解决的问题。
在图像融合技术研究中,持续有新的方法出现,其中小波变换在图像融合中的应用,基于有限元分析的非线形配准以及人工智能技术在图像融合中的应用将是今后图像融合研究的热点与方向。
因为融合研究起步较晚,以至现有的技术方法还仅仅针对具体病症、具体问题发挥作用,通用性相对较弱;通过大量资料的查询发现,国外在融合方面的研究较多,不过绝大多数也还仅仅以少数几个或几十个病例为试验对象,并没有真正的普及到临床诊断中去;医学图像融合的研究和临床应用主要集中在大脑的诊断和手术治疗,以及脏器肿瘤的诊断、定位等;另外,图像的模态也主要以CT、MRI、核医学图像为主,超声等成本较低图像的应用较少。