２０１０年２月 西北工业大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｆｅｂ． ２０１０ 第２８卷第１期 Ｖｏ１．２８ Ｎｏ．１ 基于ＳＩＦＴ联合描述子的航拍视频图像镶嵌 程咏梅，张绍武，花永强，柳 丹，雷宝权 （西北工业大学自动化学院，陕西西安７１００７２） 摘 要：针对存在明显旋转、尺度或模糊等变化的图像，文章提出了一种基于ＳＩＦＴ联合描述子的航拍 视频图像镶嵌算法。该算法首先计算经典的ＳＩＴ特征局部描述子，然后通过引入图像的形状信息得 Ｆ到每个特征点的全局描述子，进而获得联合描述子；对联合描述子中的局部描述子采用欧氏距离、全 局描述子采用卡方距离进行双向匹配，通过加权平均法融合得到联合描述子的匹配距离；采用 ＲＡＮＳＡＣ算法精确估计仿射变换模型参数。实验结果表明：该算法具有较好的鲁棒性，可获得较好的 镶嵌结果 关键词：航拍视频图像，镶嵌，ＳＩＴ联合描述子，双向匹配，仿射变换 Ｆ中图分类号： Ｉ＇Ｐ３９１．４ 文献标识码：Ａ 文章编号：１０００—２７５８（２０１０）０１－００５１－０６ 近年来，针对图像尺度变换问题，涌现出许多算 法，其中Ｇ．Ｌｏｗｅ在２００４年正式给出了一种基于尺 与ＳＩＦＴ局部描述子一样，ＳＩＦＴ全局描述子也 是创建一个直方图，但ＳＩＴ局部描述子创建特征点 Ｆ度空间的图像局部特征变换算子——ＳＩＦＴ算子 （Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）…，该算子对图 邻域内梯度方向的直方图，而ＳＩＦＴ全局描述子是统 计以特征点为原点的对数极坐标中每一个扇格内的 边缘点数。由于物体边缘对亮度变化比较敏感，在 这里，采用以曲率图像代替边缘图像的办法 Ｊ。 对于１幅图像 （ ，Ｙ），首先计算该图像的 Ｈｅｓｓｉａｎ矩阵／ｔ（ ，ｙ）。 像的旋转、缩放、仿射变换、光照等变化不敏感，在特 征匹配领域取得了巨大的成功。ＳＩＦＴ描述子是一 种局部描述子 ｊ，没有考虑图像的全局结构信息， 当图像中存在重复或者非常相似的场景（例如风格 统一的建筑等）时，产生误匹配的概率将增大。从 某种意义上来说，航拍视频图像配准的核心内容就 日（ ）： Ｌ ｒ ｙ ｒ Ｊ ： ，，，） ｇｘｙ１（１） Ｌｇ ｏ－ｇ Ｊ 是找到２幅图像间的全局运动向量，因而全局信息 显得很重要。另外，对于航拍视频图像而言，相邻２ 式中 和 分别是图像对 和Ｙ的二阶偏导，ｒ 是 混合偏导。这些二阶导数可由图像 （ ，Ｙ）与相应的 帧之间在形状上具有很大的相似性，使得利用形状 关系描述全局信息成为可能¨ 。为此，本文把全 高斯二阶导数 、ｇ 和酴卷积求得， 为所选取的 尺度。 局形状信息 ｌ２ 引人到图像匹配中，产生一种能反 映物体形状信息的全局描述子，并将其与ＳＩＦＦ局部 描述子结合，构造出关于特征点的联合描述子，基于 该ｓＩＦｒ联合描述子对航拍视频图像进行镶嵌。 图像上的每一点都可以求取一个２×２的 Ｈｅｓｓｉａｎ矩阵，每一个Ｈｅｓｓｉａｎ矩阵可确定２个特征 值，定义曲率图像如下 Ｃ（ ，ｙ）＝Ｉ Ｏ／（ ， ）ｌ （２） 式中 （ ，Ｙ）为２个特征值中较大的一个， （ ，Ｙ） １ ＳＩＦＴ联合描述子 １．１ 曲率图像 收稿日期：２００８—１２－２６ 的具体计算方法详见文献［４］。 为了减小边界因素影响、提高计算效率，需要对 曲率图像进行预处理 Ｊ，这里采用Ｄａｕｂｅｃｈｉｅｓ低通 基金项目：国家自然基金重点项目（６０６３４０３０）与航空科学基金（２００７ＺＣ５３０３７）资助 作者简介：程咏梅（１９６０一），女，西北工业大学教授，主要从事信号与信息处理、目标识别与跟踪及组合导航的研究。 ・５２・ 西北工业大学学报 第２８卷 小波滤波器进行滤波，对于滤波后的图像采用ｒ，＝ ６的高斯低通滤波器进行平滑，得到最终的曲率图 ｄ…ａｘ（，，Ｌ ｌｏｇ２（ ）＋６ ｊ）（４） 像Ｃ （ ，Ｙ），如图１所示。 豳黧 （ｃ）Ｄａｕｂｃｃｈｉｅｓ小渡低通滤波 （ｄ） 高斯低通滤波后的 后的曲率图像 曲率图像 图ｌ 曲率图像生成 １．２ ＳＩＦＴ全局描述子 求取ＳＩＦＴ局部描述子时，对特征点邻域范围内 的梯度方向进行了高斯加权，距特征点比较近的梯 度方向有较大的权值，距特征点较远的梯度方向有 较小的权值。同样，在求取ＳＩＦＴ全局描述子之前， 首先对曲率图像以特征点为中心进行高斯加权，设 特征点的坐标为（曼，多），则高斯权重函数为【３ Ｊ （ ，ｙ）：ｅ一（（ 一；） （ｙ一 ／（２ 。’ （３） 式中ｃｒ等于ＳＩＦＴ局部描述子求取过程中，对ＳＩＦＴ 特征点邻域范围内的梯度方向进行加权时所用的高 斯参数值。（Ｓ）式可以看出，权重函数 （ ，Ｙ）离特 征点越远其权重越小，离特征点越近其权重越大。这 样设计的目的是因为在离特征点比较近的范围内， 应使ＳＩＦＴ局部描述子发挥较大的作用，而在距离特 征点较远的范围内，应使全局描述子发挥较小的作 用，这样得到的联合描述子具有更好的鲁棒性。 在精确定位了特征点位置之后，假设特征点的 坐标为（ ， ），首先以特征点为中心，以ｒ为半径确 立一圆形区域。然后以ＳＩＦＴ特征点的主方向为起始 方向，沿切线方向每隔３０。一个扇格，共】２个；沿径 向方向以 、寺、÷和寺划分半径为５段，这样就可 以得到１２×５共６０个扇格。 口：『 ｆ ｆ １—０１１ 式中 ＝（ ，Ｙ） ，ｌｌ・ＪＩ为 范数，ｒ为圆的半径， 其值等于该特征点到其它所有特征点之间的平均距 离。这样，通过（４）式确定ｎ和ｄ即可获知扇格的 位置。 以 代表由ｎ和ｄ所确定的扇格区域，以Ｇ。． 代表区域Ｒ 内的曲率累加和，即Ｇ。＝ ． ∑ Ｃ （ ，Ｙ）。然后通过归一化处理，消除光照变 【 ，ｙ Ｊ ＥＨｄ 化的影响，得到最终的全局描述子向量：Ｇ Ｇ —＿ｏ ｌＩ Ｇ ｌ Ｉ图２给出了一个简单的例子，以点阵代替曲率 图像，以圆心所在特征点的主方向开始，遍历６０个 扇格并记录每个扇格中的点数，得到一个６Ｏ维的向 量，即为该特征点的ＳＩＦＴ全局描述子。 图２ ＳＩＦＴ全局描述子生成示意图 ＳＩＦＩ’全局描述子由一个６０维的特征向量组 成。通过引人特征点的主方向０和平均距离的概 念，使得该特征向量具有旋转、尺度不变性，归一化 后又可消除光照变化的影响，具有跟ＳＩＴＦ局部描述 子一样的优良性质。 将ＳＩＦＴ特征点局部描述子和全局描述子联合 起来作为一个特征点的描述子，我们称之为联合描 述子。 ２算法流程 该算法首先提取图像的ＳＩＦＴ特征点，然后计算 每个特征点的联合描述子，接下来运用双向匹配法 进行图像匹配，最后采用基于ＲＡＮＳＡＣ算法和最小 二乘法的参数估汁方法求解变换模型参数，实现图 第１期 程咏梅等：基于ＳＩＦＴ联合描述子的航拍视频图像镶嵌 ・５３・ 像镶嵌。算法流程如图３所示。 图像序列第 帧 图像序列第＾＋ｌ帧 提取Ｓ［ＦＴ 提取 ＳｌＦＴ 特征点 崦 ’ ＿ ｌ计算ＳＩＦＴ特征点 计算ＳＩＦＴ特征点 『的联合描述子 的联合捕述予 Ｉ ｊ 运川双向匹 法 进行图像匹配 ｌ 基于ＲＡＮＳＡＣ算 法和最小二乘法的 参数估计 』 图像镶嵌 图３基于ＳＩＦＴ联合描述子的图像镶嵌算法流程 ３ 图像匹配 ＳＩＦＴ联合描述子同样具有尺度、旋转、光照等 不变性，可以直接用来进行图像匹配，但是考虑到２ 种描述子分别描述了图像的不同信息，这里对组成 ＳＩＦｔ联合描述子的局部描述子和全局描述子分别 采用不同的匹配策略，得到不同的相似性系数。最 后融合２种相似性系数，得到联合描述子之问的相 似性系数，并以此作为匹配的依据。图４给出了基 于ＳＩｌ￣ｑ＂联合描述子的图像匹配流程图。 通过对图像提取局部描述子Ｌ和全局描述子 Ｇ，最终形成一个１８８维的联合描述子，在特征匹配 时，对 和Ｇ分别匹配。对于ＳＩＦＴ局部描述子，采用 欧氏距离作为相似性度量，如公式（５）所示。 对于ＳＩＦＴ全局描述子，采，Ｎｘ 统计量作为相似 性度量，如公式（６）所示。 ＤＬ＝ｌ 一Ｌ Ｉ＝ ／Ｅ（Ｌ ．Ｖ ｉｌｌ 一Ｌ ， ） （５） １ ， ， 、２ Ｄｃ： ：÷艺 ｇⅡ．ｎ十ｇ口，ｎ （６） 公式（５）中 和Ｌ 分别为第 和第 个局部描 述子，ｍ为局部描述子维数，公式（６）中ｇ 为第 个 全局描述子，／７，为全局描述子维数。 图４基于ＳＩＴＦ联合描述子匹配流程图 计算出局部和全局描述子的匹配距离后，采用 Ｄ＝ｗＤ ＋（１—０９）Ｄ。计算联合描述子之间的距离， 为权重系数。 对于１幅图像中的某个特征点，在另一幅图像 中找出与之距离最近的２个特征点，其距离分别为 最小距离Ｄ 和次小距离Ｄ ，如果最小距离Ｄ枷与 次小距离Ｄ 之比小于某个闽值７１，则将取得最小距 离的点作为匹配点。降低这个阈值，匹配点数目会减 少，但更加稳定，实验发现， 的值通常在０．４—０．６ 之间较合理。 虽然基于ＳＩＦＴ联合描述子的图像匹配算法提 高了匹配的鲁棒性，但是对于复杂的真实场景，误匹 配问题仍是一个不能完全解决的问题。为此采用双 向匹配策略和基于匹配点主分量误差分布的方法进 一步去除伪匹配点，增强匹配算法的稳定性，算法过 程如下： （１）正向匹配：待匹配图像，１和，２，首先对， 上 的特征点，采用上面所提到的算法进行搜索，找到在 图像 ，上的匹配点。 （２）反向匹配：正向匹配结束后，对于，２上找到 的匹配点，按照与第（１）步中同样的方法，在，．中反 向寻找匹配特征点，若正反２次的匹配点对相同，则 西北工业大学学报 第２８卷 认为匹配成功。 （３）匹配成功的特征点对记为（ ｌＪ ），ｉ＝ｌ， ２，…，ｎ，Ｊ＝１，２，…，ｍ， 和ｍ分别为匹配点对数和 描述子维数。 （４）匹配点对的描述子向量之差记为ｅ“，计算 ｅ 的均值与方差 ＝ ／＇２湘 式中／／／， ，ｉ：１，２，…，６为仿射变换参数，（ ，Ｙ）和 （ ，Ｙ ）为待匹配图像间的对应点象素坐标。从方程 中可以看出求解仿射变换参数最少需要３对匹配 ｎ 圣ｅ刍Ｊｉ 点。设（ ，Ｙ ）和（ ，Ｙ ）分别代表图像，】和 上的 ＝ 一 ｍｎｉ ＝Ｕ＝ Ｉ （ｅ 一 ）” ‘ （５）遍历ｎ对匹配点，将主分量误差大于２．５ 倍方差的匹配点对作为伪匹配去除。 ４基于ＲＡＮＳＡＣ算法和最小二乘法 的参数估计 航拍视频图像成像距离远大于焦距，可以近似 认为图像位于空间的同一平面上，这样图像间的变 换矩阵是单位矩阵，根据这一约束采用随机采样一 致性原理（ＲＡＮＳＡＣ）去除伪匹配点。 ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）算法假定 观测数据由符合某种模型的“内点（ｉｎｌｉｅｒｓ）”和不符 合模型的“出格点”（ｏｕｔｌｉｅｒｓ）组成，这些出格点可能 来自观测误差、错误匹配等。其算法的流程 如下 引： （１）随机选择Ⅳ个样本； （２）根据抽取样本估计模型参数； （３）用估计模型计算每一匹配点对之间的距 离，将距离小于阈值的匹配点作为内点； （４）将上述过程重复Ｋ次，选择一个包含内点 最多的点集，重新计算模型参数。这里重复次数Ｋ由 外点概率 ，采样点对数ｓ和Ｋ次采样至少有一次全 部为内点的概率Ｐ得到 ｌｏｇ １（ 一（１一占） ） ＲＡＮＳＡＣ算法能够有效去除误匹配点对，实现 简单，因此在图像处理、计算机视觉中到了广泛 应用。 用ＲＡＮＳＡＣ去除误匹配对后，根据所有的“内 点”和选定的模型，用最小二乘估计求解最终２幅 图像间局部变换参数。由于仿射变换可以描述摄像 机的平移、旋转、缩放运动，因此，本文选择仿射模型 作为帧间变换模型。采用齐次坐标，图像间的仿射 １对匹配点，则可以得到关于参数的线性方程 ｆ（ ，Ｙ ，１，０，０，０） （ｍ１，ｍ２，ｍ３，ｍ４，ｍ５，ｍ６） ＝ ： 【（０，０，０， ，Ｙ ，１）％（ｍ１，ｍ２，ｍ３，ｍ４，ｍ５，ｍ６） ＝Ｙ： 对凡对匹配点，由上式联立可得关于参数ｍ （ｉ＝１， ２，…，６）的线性方程，其矩阵形式表示如下 １ ），１ １ ０ ０ ０ ０ ０ ０ １ Ｙ】 １ ｍ１ ● ● ● ● ● ● ： ： ： ： ： ： ｍ２ ｌ Ｙｌ １ ０ ０ ０ ｍ３ Ｏ ０ ０ １ Ｙｌ ｌ ｍ４ ● ● ● ： ： ： ｍ５ １ Ｙ１ １ ０ ０ ０ ｎｌ６ ０ ０ ０ ｌ Ｙ１ １ 简记为：ＡＭ＝Ｂ，当ｎ ３时，如Ａ 可逆，则可用 最小二乘法计算仿射变换模型参数 Ｍ＝（ＡＴＡ） Ａ 曰 ； ； ５ 实验结果 图５给出只采用ＳＩＦＴ局部描述子、采用基于 ＳＩＫＩ＂局部描述子的双向匹配法和采用本文ＳＩＦｆＩＩ联 合描述子算法进行匹配的实验结果。图５（ａ）为待 匹配图像；图５（ｂ）为运用ＳＩＦＴ局部描述子的匹配 结果，共有１８４对匹配点，但是其中包含一些错误的 匹配点；图５（ｅ）为运用ＳＩＦＴ局部描述子双向匹配 的实验结果，获得的匹配点对数为１６１对，由于２幅 图像中的一些建筑物图具有局部相似性，使得匹配 结果仍然不完全准确，含有２对错误的匹配点；图５ （ｄ）为运用联合描述子进行双向匹配的结果，共１４９ 对，由于加入了描述子的全局信息，使得匹配结果更 鲁棒。 为了验证本文算法，首先构建了１组包含８个 航拍视频的测试数据集，如图６（ａ）一图６（ｅ）所示， 其中包括自建数据、ＣＭＵ无人机视频、影片中的航 第１期 程咏梅等：基于ＳＩＦＴ联合描述子的航拍视频网像锇嵌 ５５ 拍视频等。视频内容种类丰富，包含平移（图６（ａ）、 图６（ｅ）），旋转（图６（ｂ）、图６（ｄ）），模糊（图６ （Ｃ）），尺度变化、视角变化（图６（ｄ））等情况。 （ａ） 待匹配图像 （ｂ） 运用ＳＩＦＴ局部描述子匹配结果 （ｃ） 运用ＳＩＦＴ局部描述子双向匹配结果 （ｄ） 运用联合描述子进行双向匹配结果 （ｅ） 影片中的航拍视频一平移 图５匹配结果 图６航拍视频测试数据集 图７为航拍视频测试数据集的镶嵌结果（为了 便于显示，对镶嵌图像进行了一定程度的缩放）。 （ａ）１ ２９５帧的镶嵌结果 （ｂ）７００帧的镶嵌结果 （ｃ）２９５帧的镶嵌结果 （ｄ）２１５帧的镶嵌结果 （ｅ）２６０帧的镶嵌结果 图７航拍视频镶嵌结果 ・５６・ 西北工业大学学报 第２８卷 从图７镶嵌结果可以看出，当图像具有旋转、缩 提取每一特征点的全局描述子，该描述子与局部描 放、模糊等变化时，基于ＳＩＦＴ联合描述子的图像镶 述子一样具有尺度、旋转、光照等不变性。把ＳＩＦＴ 嵌方法可获得较好的镶嵌结果。 局部描述子和全局描述子结合起来，构建ＳＩＦＴ联合 描述子，采用局部描述子与全局描述子分别匹配再 ６ 结 论 融合的方法进行图像匹配，实验结果表明本文提出 的ＳＩＦＴ联合描述子可获得较好的匹配结果，并在自 本文研究了基于ＳＩＦＴ联合描述子图像镶嵌问 建航拍视频数据库上实现了视频图像的自动拼接， 题，针对ＳＩＦＴ局部描述子不足，通过引入形状信息， 验证了算法的有效性。 参考文献 ［１］Ｌｏｗｅ Ｄ Ｇ．Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ—Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ．Ｉｎｔｅｎｒａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００４，６０（２）： ９１～ｌ１０ ［２］Ｌｏｗｅ Ｄ Ｇ．Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｉ＇ｏｍ Ｌｏｃａｌ Ｓｃａｌｅ—ｌｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅｓ．Ｐｒｏｃ ＩＥＥＥ Ｉｎｔ Ｃｏｌｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｋｅｒｋｙｒａ，Ｇｒｅｅｃｅ， １９９９，２：ｌ１５０一ｌ１１５７ ［３］Ｅｒｉｃ Ｎ Ｍ，Ｈｏｎｇｌｉ Ｄ，Ｈｎｄａ Ｇ Ｓ．Ａ ＳＩＨ＂Ｄｅｓｃｒｉｐｔｏｒ ｗｉｔｈ Ｇｌｏｂａｌ Ｃｏｎｔｅｘｔ．ＣＶＩ’【｛，２００５，ｌ：１８４～１９０ ［４］Ｓｔｅｇｅｒ Ｃ．Ａｎ Ｕｎｂｉａｓｅｄ Ｄｅｔｅｃｔｏｒ ｏｆＣｕｒｖｉｌｉｎｅａｒ Ｓｔｒｕｃｔｕｒｅｓ．ＰＡＭＩ，１９９８，２０（３）：ｌ１３～１２５ Ａ Ｂｅｔｔｅｒ Ａｅｒｉａｌ Ｖｉｄｅｏ Ｉｍａｇｅ Ｍｏｓａｉｃ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ ＳＩＦＴ Ｃｏｍｂｉｎｅｄ Ｄｅｓｏ’ｉｐｔｏｒｓ Ｃｈｅｎｇ Ｙｏｎｇｍｅｉ，Ｚｈａｎｇ Ｓｈａｏｗｕ，Ｈｕａ Ｙｏｎｇｑｉａｎｇ，Ｌｉｕ Ｄａｎ，Ｌｅｔ Ｂａｏｑｕａｎ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ，Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｅｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ ａｎ ７１００７２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍ．Ｔｈｅ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｔｈｅ ｆｕｌｌ ｐａｐｅｒ ｐｏｉｎｔｓ ｏｕｔ ｔｈａｔ：（１）Ｒｅｆ．１ ｕｓｅｓ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒｓ；（２）Ｒｅｆｓ．１ ａｎｄ ２，ｂｏｔｈ ｂｙ Ｄ．Ｇ．Ｌｏｗｅ，ｍｅｎｔｉｏｎ ｔｈｅ ｐｏｓｓｉｂｉｌｉｔｙ ｏｆ ｕｔｉｌｉｚｉｎｇ ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｃｏｎｓｅｃｕｔｉｖｅ ｆｒａｍｅｓ ｔｏ ｏｂｔａｉｎ ｇｌｏｂａｌ ｓｈａｐｅ ｉｎｆｏｒｍａｔｉｏｎ．Ｗｅ ｂｅｌｉｅｖｅ ｔｈａｔ ｗｅ ｈａｖｅ ｓｕｃｃｅｅｄｅｄ ｉｎ ｕｔｉｌｉｚｉｎｇ ｔｈｅ ａｂｏｖｅ—ｍｅｎｔｉｏｎｅｄ ｓｉｍｉｌａｒｉｔｙ ｔｏ ｏｂｔａｉｎ ａｃｔｕａｌｌｙ ｇｌｏｂａｌ ｓｈａｐｅ ｉｎｆｏｒｍａｔｉｏｎ．Ｓｅｃｔｉｏｎ １ ｅｘｐｌａｉｎｓ ｔｈｅ ＳＩＴＦ（ｓｃａｌｅ ｉｎｖａｒｉａｌｔｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｎｎ）ｃｏｍｂｉｎｅｄ ｄｅ— ｓｅｆｉｐｔｏｒ；ｉｔｓ ｃｏｒｅ ｃｏｎｓｉｓｔｓ ｏｆ：ｉｔ ｆｉｒｓｔｌｙ ｃａｌｃｌｄａｔｅｓ ｔｈｅ ｃｌａｓｓｉｃａｌ ｆｅａｔｕｒｅｓ ｏｆ ｌｏｃａｌ ＳＩＦＴ ｄｅｓｃｒｉｐｔｏｒ．ｒｅｃｅｉｖｅｓ ｔｈｅ ｇｌｏｂａｌ ｄｅｓｃｒｉｐｔｏｒ ｏｆ ｅａｃｈ ｆｅａｔｍ’ｅ ｐｏｉｎｔ ｂｙ ｉｎｔｒｏｄｕｃｉ，ｌｇ ｔｈｅ ｓｈａｐｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｉｍａｇｅ，ａｎｄ ｔｈｅｎ ｏｂｔａｉｎｓ ｃｏｍｂｉｎｅｄ ｄｅ— ｓｃｒｉｐｔｏｒｓ．Ｆｉｇ．３ ｉｎ ｓｅｃｔｉｏｎ ２ ｐｒｅｓｅｎｔｓ ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆ ａｅｒｉａｌ ｖｉｄｅｏ ｉｍａｇｅ ｍｏｓａｉｃ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ＳＩＦＴ ｃｏｍｂｉｎｅｄ ｄｅｓｃｒｉｐｔｏｒｓ．Ｓｅｃｔｉｏｎ ３ ｅｘｐｌａｉｎｓ ｉｍａｇｅ ｍａｔｃｂｉｎｇ；ｉｔｓ ｃｏｒｅ ｃｏｎｓｉｓｔｓ ｏｆ：ｒｅ，。ｂｉｄｉｒｅｃｔｉｏｎａ１ ｍａｔｃｂｉｎｇ，Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ ｉｓ・ｕｔｉｌｉｚｅｄ ｆｏｒ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ，Ｃｈｉ—ｓｑｕａｒｅ ｄｉｓｔａｎｃｅ ｏｆｒ ｔｈｅ ｇｌｏｂａｌ ｏｎｅ，ａｎｄ ｌｈｅｎ，ｔｈｅ ｍａｔｃｈｅｄ ｄｉｓｔａｎｃｅ ｏｆ ｃｏｍｂｉｎｅｄ ｄｅｓｃｒｉｐｔｏｒｓ ｉｓ ｏｂｔａｉｎｅｄ ｗｉｔｈ ｔｈｅ ｗｅｔｇｈｔｅｄ ａｖｅｒａｇｅ ｉｎｔｅｇｒａｔｉｏｎ ｍｅｔｈｏｄ．Ｓｅｃｔｉｏｎ ４ ｅｘｐｌａｉｎｓ ｔｈｅ ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ ｏｂｔａｉｎｅｄ ｗｉｔｈ ｔｈｅ ＲＡＮＳＡＣ（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）ａｌｇｏｒｉｔｈｍ ａｎｄ ｔｈｅ ｌｅａｓｔ ｓｑｕａｒｅｓ ｍｅｔｈｏｄ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ，ｐｒｅｓｅｎｔｅｄ ｉｎ Ｆｉｇｓ．５，６ ａｎｄ ７，ｓｈｏｗ ｐｒｅｌｉｍｉｎａｒｉｌｙ ｔｈａｔ ｏｕｒ ａｌｇｏｒｉｔｈｍ ｈａｓ ｂｅｔｔｅｒ ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｉｓ ｉｎｄｅｅｄ ｂｅｔｔｅｒ ｔｈａｎ ｔｈａｔ ｏｆ Ｒｅｆ．１． Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ，ａｌｇｏｒｉｔｈｍｓ，ａｅｒｉａｌ ｖｉｄｅｏ ｉｍａｇｅ ｍｏｓａｉｃ，ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ￣ａｎｓｆｏｒｍ） ｃｏｍｂｉｎｅｄ ｄｅｓｃｒｉｐｔｏｒ，ｂｉｄｉｒｅｃｔｉｏｎａｌ ｍａｔｃｈｉｎｇ