第２９卷第１１期 ＶｏＩ＿２９ Ｎｏ．１１ 企业技术开发
ＴＥＣＨＮＯＬＯＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＯＦ ＥＮＴＥＲＰＲＩＳＥ ２０１０年６月
Ｊｕｎ．２０１０
基于张量投票的图像超分辨率算法 胡水祥，黄东军 （中南大学信息科学与工程学院，湖南长沙４１００８３）
摘要：张量投票算法在提取图像主观轮廓上具有良好的效果。文章提出了一种基于张量投票的图像超分辨率算法。首 先，用二维张量矩阵存储低分辨率图像各像素点所处的位置特征信息，并利用稀疏张量投票将特征信息进行加强，再使用 稠密张量投票产生高分辨率图像对应的二维张量矩阵，此张量矩阵包含了视觉特性强的边缘信息，最后利用该边缘信息 指导高分辨率图像的重构。实验结果表明，该方法得到的高分辨率图像信噪比高、视觉效果好。 关键词：张量投票；超分辨率算法；主观轮廓 中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１００６—８９３７（２０１０）１１—０００１—０３
Ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｅｎｓｏｒ ｖｏｔｉｎｇ ＨＵ Ｓｈｕｉ－ｘｉａｎｇ，ＨＵＡＮＧ Ｄｏｎｇ－ｊｕｎ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｅｎｔｒａｌ Ｓｏｕｔｈ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ，Ｈｕｎａｎ ４１００８３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｅｎｓｏｒ ｖｏｔｉｎｇ ａｌｇｏｒｉｔｈｍ ｈａｓ ａ ｇｏｏｄ ｅｆｆｅｃｔ ｉｎ ｅｘｔｒａｃｔｉｎｇ ｓｕｂｊｅｃｔｉｖｅ ｃｏｎｔｏｕｒ ｏｆ ｉｍａｇｅ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｄ ａ ｉｍａｇｅ ｓｕｐｅｒ— ｒｅｓｏｌｕｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｅｎｓｏｒ ｖｏｔｉｎｇ．Ｆｉｒｓｔ ｏｆ ａｌｌ，ｕｓｉｎｇ ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ ｔｅｎｓｏｒ ｍａｔｒｉｘ ｓｔｏｒｉｎｇ ｅａｃｈ ｐｉｘｅｌ Ｓ ｌｏｃａｔｉｏｎ ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｌｏｗ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ，ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｔｒｅｎＯｈｅｎｅｄ ｂｙ ｓｐａｒｓｅ ｔｅｎｓｏｒ ｖｏｔｉｎｇ，ａｎｄ ｔｈｅｎ ａ ｔｗｏ—ｄｉ．ｍｅｎｓｉｏｎａｌ ｔｅｎｓｏｒ
ｍａｔｒｉｘ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｉｓ ｇｅｎｅｒａｔｅｄ ｂｙ ｄｅｎｓｅ ｔｅｎｓｏｒ ｖｏｔｉｎｇ，ｔｈｅ ｔｅｎｓｏｒ ｍａｔｒｉｘ ｃｏｎｔａｉｎｓ ｅｄｇｅ ｉｎｆｏｒｍａｔｉｏｎ ｗｉｔｈ ｓｔｒｏｎｇ ｖｉｓｕａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ．Ｆｉｎａｌｌｙ，ｕｓｉｎｇ ｔｈｅ ｅｄｇｅ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｇｕｉｄｅ ｈｉｇｈ—ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｈｉｇｈ—ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｏｂｔａｉｎｅｄ ｂｙ ｏｕｒ ｍｅｔｈｏｄ ｗｉｔｈ ｈｉｇｈ ＳＮＲ ａｎｄ ｇｏｏｄ ｖｉｓｕａｌ ｅｆｆｅｃｔ． Ｋｅｙｗｏｒｄｓ：ｔｅｎｓｏｒ ｖｏｔｉｎｇ；ｓｕｐｅｒ—ｒｅｓ０ｌｕｔｉｏｎ ａｌｇｏｒｉｔｈｍ；ｓｕｂｊｅｃｔｉｖｅ ｃｏｎｔｏｕｒｓ
目前，图像超分辨率方法主要可分为三类：基于插值 的、基于重建的和基于学习的方法。其中传统的插值算法 简单快速，但效果不佳，容易产生模糊和锯齿现象，为此， 提出保持边缘信息的插值算法［ＩＪ，该方法首先进行边缘检 测，先对边缘区域进行特殊插值，再对平滑区域插值，此 方法虽能较好地保持图像的边缘特征，但总体效果仍不 佳，且该方法的实现欠规范。针对此问题，本文将张量投 票算法引入到超分辨率中，利用张量投票模拟人类视觉 的竞争合作机￣ｌｊ［２１，识别图像的主观轮廓，提取图像边缘 信息，并进行加强，利用该边缘信息指导图像超分辨率。 １张量投票算法 张量投票算法／３１的核心思想是将邻域信息通过投票 的方式聚集起来，从而突出某一特征的显著性。其主要步 骤包括：张量表示和张量投票。 １．１张量表示 在２Ｄ情形下，二阶对称张量可用二维矩阵表示，其 通用的表示形式为： Ｔ＝Ｘｌｅｌｅｌ＿ｒ＋ ２Ｔ＝（入１一 ２ ｅｌｅｉＴ＋）ｋ２ ｅｌｅｉＴ＋ｅ２ｅＴ） （１） 其中， ｌ、 ２（入Ｉ≥ ２≥０）为特征值；８Ｉ、ｅ２（ｅｌ上ｅ２）为对 应的特征向量；ｅ１ｅｌＴ为棒张量分量（ｓｔｉｃｋｔｅｎｓｏｒ ｃｏｍｐｏｅｎｔ）； ｅ１ｅｉＴ＋ｅ２ｅ２Ｔ为球张量分量（ｂａｌｌ ｔｅｎｓｏｒ ｃｏｍｐｏｎｅｎｔ）； ｌ－ｈ２为 收稿日期：２０１０—０２—２５ 作者简介：胡水祥（１９８２一），男，湖南嘉禾人，在读硕士研究生，研究 方向：网络与多媒体技术。 基金项目：国家自然科学基金资助项目（６０８７３１８８ ｏ 棒张量分量的显著性大小； 为球张量分量的显著性大 小。二阶张量可被图示为椭圆，椭圆的形状表示各特征的 显著性大小，其中 、 分别为椭圆的半长轴长和半短轴 长，ｅ 、ｅ 确定长短轴的方向，如图１所示。
图１ ２Ｄ情形下的二阶张量 在图像中．对于图像中的各点，根据该点所处的几何 结构把该点称为这种几何结构的元素．例如在二维空间 中有点元素和曲线元素。棒张量分量的显著性大小表明 了该点为曲线元素的可能性，球张量分量的显著性大小 表明了该点为点元素的可能性。从直观上看，椭圆越扁则 暗示了该点有曲线通过的可能性越大，其主方向ｅ。即为 可能通过该点的曲线的法向方向；椭圆越圆则说明该点 所处区域没有明显的方向信息，该点为一孤立点。 当输入点不包含任何方向信息时，可将该点表示成
一个球张量，在式（１）中， 】＝ｌ、 ＝１，对应的特征向量ｅｊ＝ ｒ１ ｎ １ ［１ ０］Ｔ、ｅ：＝［０ １ ＩＴ，张量矩阵为ｌ二 ：ｆ；当输入点为曲 ＬＵ ｌ Ｊ
线上的点时，可将该点表示成一个棒张量，其包含了曲线 ２ 企业技术开发 ２０１０年６月 元素信息，其中 ｌ＝１、 ２＝０，设该曲线的法向为ｆｉ，则对应 的特征向量ｅｌ＝ｆｉ、ｅ２＿Ｌ ｅＩ，张量矩阵为ｅｌｅＴ。 １．２张量投票 投票过程可简述为各张量在它的投票域（ｖｏｔｉｎｇ ｆｉｅｌｄ）里产生投票。投票域可理解为张量产生投票的作用 范围．２Ｄ情形下，投票域由两部分组成：棒投票域（ｓｔｉｃｋ ｖｏｔｉｎｇ ｆｉｅｌｄ）和球投票域（ｂａｌｌ ｖｏｔｉｎｇ ｆｉｅｌｄ），如图２所示。
ａ．棒投票域 …一、、…・ ：：：：：；；：：；：：：：：
：：：：：：： ： ：：：： ・…、、…，，●，’
ｂ．球投票域 图２投票域
张量的各分量在各自的投票域中投票．棒张量分量 在棒投票域中投票，球张量分量在球投票域中投票。 在各点对应产生一个张量之后．接下来的工作就是 通过张量投票传递自身特征信息到邻居各点去。假设在 二维笛卡尔坐标系中，投票者在原点０处，接受者位于 点Ｐ处，投票点０处的张量的主方向为Ｙ轴方向。为获 得在点Ｐ处投票的方向，过点０和Ｐ，作与Ｘ轴相切的 圆，该密切圆在投票点０的径向向量面平行于投票张量 的主方向。由于通过密切圆的传播路线能很好地保持了 曲率，则在接受点Ｐ的径向向量 应平行于０向Ｐ所投 选票的张量的主方向。图３为投票示意图。
Ｐ ｌ ２ｓｉｎ０ ： ｓｉｎ０ ｋ： Ｉ
图３张量投票示意图 其中原点０为投票者位置，Ｐ为投票点。 投票的大小为： ｒ ｓ２＋ｃＫ １ ＶＳ（ｓ，Ｋ，盯）＝ｅ （２）
式（２）中，Ｓ为弧长，Ｋ为曲率，【『为投票尺度，Ｃ为控 制曲率变化的常量。 投票完成后，在各点收集投票，收集过程即为张量累 加过程
２基于张量投票的图像超分辨率算法 算法的基本思想是：首先生成一个二维的张量矩阵， 每个张量对应低分辨率图像的每个像素，张量包含了该 像素所在位置的特性信息，如果该像素在边缘处，则对应 的张量的棒张量分量突出，如果像素位于平滑区域内，则 其张量的球张量分量突出：利用张量投票强化低分辨率 图的边缘性：再利用张量投票生成与目标高分辨率图像 相同尺寸大小的二维张量矩阵．该张量矩阵包含了图像 的边缘信息：利用张量矩阵里的边缘信息和输入的低分 辨率图像生成高分辨率图像。具体的实现步骤为： ①生成低分辨率图像对应的张量矩阵。首先计算低 分辨率图像中每个像素（Ｘ，Ｙ）其邻域Ｎ（Ｘ，Ｙ）的方差Ｖ， 如果Ｖ大，则说明该像素很有可能位于边缘处，反之则 位于平滑的非边缘区域。邻域方差的大小确定其对应张 量的棒张量分量的显著性。设Ｖ～为邻域方差的最大值， Ｖ 为邻域方差的最小值，结合张量的通用表示形式，可 通过式（３）生成像素对应的张量 ： Ｔ＝ｐｅｌｅｌＴ＋（１一ｐ）ｅ２ｅ （３） 式中，Ｂ＝０．５＋（Ｖ—Ｖ ）／（２ｘ（Ｖ 一Ｖ ））、ｅ。、ｅ２为单位 向量，且ｅｌ上ｅ２，ｅｌ可南式（４）表示：
Ｍ： ｌ ， 一 ｙ，一ｙ］ （４） Ｎ（ｘ 。Ｙ） Ｚ ｌＹ －ｙ Ｊ 。 ． 式中，Ｎ为邻域像素点个数，Ｉ ， 为邻域像素的灰度 值，Ｉ ）为当前像素的灰度值，Ｚ为归一化因子。Ｍ为对称 矩阵．它有两个特征值．其中较大特征值所对应的特征向 量即为ｅ。，在几何上矩阵Ｍ可以用一个椭圆来表示，ｅ。即 为椭圆的主方向。 ②确定投票域尺度大小，进行稀疏张量投票，即只向 有像素点处投票。投票过程如１．２中所述。投票结束后， 张量各特征的显著性得到了增强。 （ 为得到目标高分辨率图像对应的张量矩阵．再次 进行张量投票，此次投票采用稠密投票方式。即投票者要 在次像素级位置点进行投票．次像素的密集程度取决于 超分辨率的放大倍数，使用的投票域与第一次相同。 ④将输入的低分辨率图像各像素点置于目标高分辨 率图像的相应位置，同时将步骤（３）得到的张量矩阵与目 标高分辨率图像对应起来。对于需重建的像素点Ｐ（Ｘ，Ｙ） 的值可由如下的点扩散函数得出：
Ｐ（ｘ，ｙ）＝ Ｇ・Ｓ・Ｐ（ｘ ，Ｙ ） （５） Ｗ（ Ｙ ）
式中。Ｇ：ｅ 为高斯衰减函数．取决于两个像素点的 距离ｄ，Ｓ为两个像素对应张量的棒张量分量显著性在两 点连线上的投影之和，设０、０ 分别为两个张量的棒张量 分量与两点连线的夹角， 。一 和 。一 分别为棒张量 分量的显著性，则Ｓ＝（入Ｉ一入２）ｃｏｓ０＋（Ｘ ｌ一入ｔ ２）ｃｏｓ０ ，（Ｘ ，Ｙ ） 为邻域像素点，Ｗ＝∑Ｇ・Ｓ。 图４展示了本算法的过程。可以看出，本文的方法得
！～Ｉ ｌ●；● ｉ、Ｉ Ｉ，，ｊ ｉ、、ｌ，，｛ ●、、Ｉｌ，，，． ． 、、ｌ，，●－ ｔ、、ｌ，，． ，、一．、． 、Ｊ ＾ ● ＿－＿． ，Ｌ ．，－＿，． 。，，Ｉ、． ．－，，ｌ、、，． ．，，，Ｉ、、、－ 一 －一，，