摘  要：

    图像拼接技术能构建大场景图像及全景图像，在文化遗产保护、虚拟现实等方面有着广泛地应用价值。本文提出了一套基于图像特征点的自动的图像拼接算法。该算法首先用Harris角检测方法提取出的特征点并进行互相关运算；设计了一种新的用聚类方法预筛选互相关特征点对，再用RANSAC方法提纯特征点的筛选匹配点方法，有效提高了算法的效率；求得并用最小二乘法优化变换矩阵后，把匹配的图像投影到柱面上；最后，用权重函数融合图像。实验表明，本图像拼接算法匹配精度高、鲁棒性强，经聚类预筛选后效率明显提高，更具实用性。
关键词：图像拼接  聚类  筛选特征点

1  引言

    图像拼接技术在计算机图形学、计算机视觉以及多媒体系统等领域中的应用日益广泛。在计算机图形学领域，图像拼接技术能够有效地创建虚拟场景、获得高分辨率图像。它可以把普通数码相机拍摄的多幅图像拼接为一整幅全景的图像，从而能真实地重现原有场景。因此，图像拼接技术在大幅面图像或大场景的文化遗产数字化保护，虚拟现实技术应用和遥感图像处理方面具有十分重要的应用前景。
    目前，国外已经提出了多种针对不同应用条件的图像拼接实现算法。但还没有获得一种效率高并且通用的图像拼接方法。图像拼接包括图像的校正及投影、图像间的匹配、图像的变换和图像间的融合四部分，其中最关键的是图像匹配部分，可以分为基于特征的和非基于特征的两类方法。非基于特征的方法中，Reddy使用基于傅立叶变换的算法[1]配准图像，但是当图像间重叠区域小于宽度的三分之二或原图不清晰时易产生失配。基于特征的方法中，Heung-Yeung Shum和Richard Szeliski提出了基于块匹配 (patch-based alignment)的算法[2]，把图像分成小块进行计算。但是这种方法可能导致在估计参数矩阵时不收敛。I.Zoghlami, O.faugeras 和R.Deriche提出了用图像中线段进行匹配的算法[3]，但是算法比较复杂，效率不高。C.Harris和M.J.Stephens提出了角检测的方法[4]，由于其特征稳定、明显，被广泛应用于图像拼接领域。
    本文提出了一套自动的图像拼接算法，它针对文化遗产中多为建筑的特点，采用基于特征的图像拼接方法。本算法中特征点的提取和匹配是最为关键的部分。在滤除不匹配的特征点的方法上，采用了比较有效的RANSAC方法。针对该方法中在混入的不匹配特征点比较多的情况下筛选效率低的缺陷，本文提出了一种新的用聚类方法预先筛选匹配点，用聚类的方法预先滤出一部分不匹配点，提高了数据的纯度，从而极大的减少了RANSAC方法的迭代循环次数。经实验证明，这种方法能够达到预期的效果，提高了算法的筛选效率和鲁棒性。
    本文按照算法的流程顺序，第二部分介绍了图像中特征点的提取和进行匹配运算的方法。第三部分描述了图像间的变换方法并提出了匹配点的改进筛选方法。第四部分介绍了把图像投影到柱面的方法和图像的平滑融合。最后是试验结果和结论。

2  特征点的提取和匹配

    其作用为去除图像边缘点。当在某点R值在局部区域取最大值并且大于设定的某一阈值T(T>0)时，这点就是检测出的特征点。在实际应用中，取T=10000，系数α=0.06，使用大小为5×5像素的高斯窗，再用5×5的统计排序滤波器找到区域最大值。此方法在光照条件改变时检测结果也比较稳定。
    提取出特征点后，采用NNC(Normalized Cross Correlation)相关算法[6]计算图像间的相关性，其计算结果在[-1,1]范围内，所得值越趋近于1则相关性越大。
    但是实际计算中不相关的点NNC值也有可能会很高。为了提高图像匹配的精度，就要对数据进行筛选提纯，滤除不相关的点对。提纯数据的方法将在3.2中介绍。

3  图像间的变换

3.1  图像的投影变换

3.2  用聚类预筛选特征点的数据提纯方法

    传统用于提纯数据的RANSAC方法[8] ( RANdom SAmple Consensus Algorithm )是从数据中随机抽取一定量的子集，然后带入数学模型迭代计算出符合模型的最大子集（称为线内点集）。图像拼接中，数学模型为伪匹配点经投影变换后产生的误差。用下式衡量投影误差：

    RANSAC算法的迭代次数是由采样点的个数和线外点的百分比决定的，可以由公式求得[9]。由于求导投影变换矩阵需要每次随机抽取4对特征点，则算法的迭代次数如下表：

    表1中线外点的百分比是经过每次RANSAC算法后求得的，实际中线外点百分比很高，因此迭代次数会大大增加，影响了效率。由于以上缺点，改进选用聚类的方法预筛选数据，然后再应用RANSAC算法计算。具体思想如下：两幅等大图像并行放于同一坐标系下，特征点分别连成直线，则匹配的点直线间斜率相等或相差很小（图像镜头畸变不很大时，可以做线性变换进行图像间的匹配），而不匹配的点间直线斜率相差则较大。用特征点对的坐标求出直线斜率，以每个斜率值为中心计算其小邻域内所包含的其它直线斜率值的数量，计算出包含数量最多的邻域，所有包含在内的斜率值被认为是匹配的，在这个邻域外的则认为是不匹配的，从集合中删除。数据提纯的整个步骤如下：
1.用直线斜率公式计算两匹配点直线斜率值，并取经验邻域阈值为0.02。
2.计算每个斜率值邻域中包含的其它斜率值数量，找出包含数量最多的域，剔除斜率值在域外的特征点对。
3.用RANSAC算法对于筛选的特征点对进行精确筛选，得到真正的匹配点。
4.使用LM算法和匹配点对求得优化的M矩阵。通过匹配20对实验图像，与原算法对比结果平均值如表2：

4  图像的柱面投影与平滑融合

    拍摄图像时是把相机固定一点旋转拍摄，因此图像的投影平面为柱面或球面。而柱面图像投影易于实现，所以常被用于图像拼接和创建全景图像上。如图1所示：柱面为相机拍摄物体后的投影平面，X轴为相机水平旋转时的旋转轴，Z轴为图像镜头光轴。则三维实际物体中的一点(X, Y, Z)对应二维投影平面上的点(x,y)可以用（x, y, ƒ）表示；则图像投影到柱面的变换公式为：

    相机焦距一般都标注在相机镜头上，可以直接得到。如果不知道相机的焦距，可以根据图像估计出镜头焦距[2][7]。
    精确求得矩阵M后，下一步就是把图像通过变换都采样到新开辟的图像空间中。但是，由于图像间的亮度不同，就会明显的对比出拼接的接缝来，使拼接后的图像不自然。因此本套算法应用了权重函数融合图像的方法[2]使图像过渡自然：

5  实验结果与结论

    实验使用普通数码相机采集图像，对殿、楼、榭、轩、桥、舫、墙等13种文化遗产类别的50多个场景300多幅图像进行了实验，效果结果均很理想。图2所示为其中一幅天坛圜丘的场景，把数码相机固定于三脚架上，水平旋转360度拍摄了16幅小图像。图像分辨率为640×480。经本套算法拼接成为水平360度全景图如下：

    本文提出了一套自动的、鲁棒性强的图像拼接算法，用于对文化遗产的数字化保护。算法针对文化遗产的特点，采用了Harris角检测的方法精确的定位特征点，减少图像亮度改变对特征提取的影响；首次采用了新的用聚类的方法预筛选特征点对，大大减少了RANSAC方法的迭代次数，提高了算法的效率和运行速度；利用RANSAC方法提纯匹配特征点，并使用最小二乘法进行优化，保证了图像间匹配的精度。实验表明，采用聚类方法预筛选数据后，程序运行速度有了明显的提高；并且此套方法具有适用于复杂光照条件，拼接精度高，鲁棒性强，效果理想的优点。

参考文献

[1] Reddy B S, Chatterji B N. A FFT-based technique for translation, rotation, and scale-invariant image registration. IEEE Trans. On Image Processing, 5:8, 1996.
[2] Shum H Y, Szeliski R. Panoramic image mosaicing. Technical Report MSR-TR-97-23, Microsoft Research, 1997.
[3] Zoghlami I, Faugeras O, Deriche R. Using geometric corners to build a 2D mosaic from a set of images. IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR’97), 1997: 420~425.
[4] Harris C, Stephens M J.  A combined corner and edge detector. Alvey Vision Conference, 1988: 147~152.
[5] Flore Faille. A fast method to improve the stability of interest point detection under illumination changes. International Conference on Image Processing (ICIP), 2004.
[6] Di Stefano L, Mattoccia S, Mola M. An efficient algorithm for exhaustive template matching based on normalized cross correlation. In: Proceedings of the 12th International Conference on Image Analysis and Processing(ICIAP’03), 2003: 322~327
[7] Richard Szeliski, Heung-Yeung Shum  Creating full view panoramic image mosaics and environment maps. International Conference on Computer Graphics and Interactive Techniques, 1997.
[8] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communication Association Machine, 1981, 24(6): 381~395.
[9] Lacey A J, Pinitkarn N, Thacker N A. An evaluation of the performance of RANSAC algorithms for stereo camera calibration. BMVC2000, 2000