基于边缘响应和自相似的红外与可见光图像区域特征匹配方法

第60卷第3期

大连理工大学学报

JournalofDalianUniversitfTechnoloyogy

Vol.60,No.3May2020

()文章编号:1000-8608202003-0317-08

基于边缘响应和自相似的红外与可见光图像区域特征匹配方法

(大连理工大学计算机科学与技术学院,辽宁大连 116024)

王 琦, 胡小鹏, 王 凡*

摘要:红外与可见光图像的匹配是计算机视觉中一项重要的研究课题.由于红外与可见光

光谱的差异,图像之间的相似性较低,图像匹配正确率较低.根据红外与可见光图像区域形状相似特点,提出了一种基于边缘响应和自相似区域特征匹配方法.该方法首先计算红外与可见光图像的边缘响应并检测区域特征,然后提取区域形状并建立区域形状的自相似描述,最后对区域特征进行匹配.实验结果表明,该方法在特征检测可重复率和特征匹配准确率等方面均具有良好的性能.

关键词:自相似;边缘响应;区域匹配;红外与可见光图像中图分类号:TP391

文献标识码:A

:/doi10.7511dllxb202003013g

]11

并利用边的长度和夹角建立多边形描述[.Liu

0 引 言

红外与可见光图像匹配是计算机视觉领域中具有较高应用价值的研究课题.由于红外与可见光图像可提供互补信息,红外与可见光图像匹配

1-2]3-4]

、已广泛应用于无人机导航[卫星遥感[和安

等通过增强图像边缘应对红外与可见光图像区域边界强度变化,提高MSER区域特征提取的稳定

]12

性[.Liu等对特征点提取MSER特征并建立相

全监控

[]5-6

图像匹配方法主要分为点特征匹配方法和区

7]

,域特征匹配方法[这两类方法均已大量应用于

等领域.

对区域特征,局部自相似(localself-,常被用于建立区域形状的描similaritLSS)y

15-19]述[.LSS方法将区域等分为相同大小的图像块并计算图像块之间的相关性,统计相关信息生成图像块间的相似性描述.LSS通过区域自身相

]20-21似性反映区域的几何布局[由于L.SS反映了

13-14]位方向直方图描述进行匹配[.

红外与可见光图像匹配

[8]

射特性的差异,红外与可见光图像局部细节不同

8]

而整体结构相似[包含更多场景信息、更能反映.

由于红外与可见光辐.

区域的形状,对非线性亮度变化具有一定抗干扰性,适用于对红外与可见光图像区域特征建立一

]17

致的描述[.

图像整体结构的区域特征比点特征更适用于红外与可见光图像匹配

[]8

最大稳定极值区域(maximalltableys

,通过检测图像连续阈值extremalreionMSER)g化过程中区域面积变化取得极值时的区域范围提

9]

取图像均匀区域[由于均匀区域内像素强度与.

.

进已大量应用于具有不同辐射特性的图像匹配()中.将大区域划DLSSdenselocalself-similarity分网格并逐个建立L连接后形成最终描SS描述,

16]

特征描述反映图像结构的能力[.LSCC(LSS

)利用LcrosscorrelationSS对已粗匹配的图像进]15

述[以.DASC(denseadativeself-correlation)p

随机选择图像块进行比较的方式改进L提高SS,

由于LSS可描述区域形状信息,LSS及其改

区域边界强度存在较大差异,在连续阈值化过程中均匀区域在较大范围的阈值内面积保持稳定.廉蔺等利用MSER方法提取红外与可见光图像

10]

中的区域特征进行匹配[.Zhu等提取图像

然后将每个区域拟合为多边形,MSER区域特征,

17]

行精确匹配[.LCTS(localcentraltendency

收稿日期:2020-01-21; 修回日期:2020-04-02.

);“)基金项目:国家科技重大专项资助项目(十三五”重大专项资助项目(2018YFA07046052017ZX050.

),:_;(),,,:作者简介:王琦(男,博士生,胡小鹏男教授1985-E-mailwanidut@mail.dlut.edu.cn1966-E-mailxhu@dlut.edu.gqp*(;),,,:王凡女副教授cn1975-E-mailwanfan@dlut.edu.cn.g

318

大连理工大学学报

第60卷

s以局部imilarit均y)值利用代替高最斯大函值数提对升相鲁关棒性性进[1行8].加D权OB,S并(S

曲面按值分为多个组distinctiveorderbase,d并以最大值与中位数的差self-similarity)将相关性代替最大值形成描述,提高HOSS(histLSS判别性[19].

展LS然而S使其具有方向不变性ogramoforienteds[22]e,区域特征的提取和描述在红外.

lf-similarity)

扩与可见

光图像匹配中仍面临均匀区域边界强度不一致和形状冗余表达的问题:

见光图像像素强度存在非线性变化(1

)均匀区域边界强度不一致.由于红外与可,均匀区域内像素强度与区域边界强度间的差异在红外与可见光图像中不一致(如红外图像较可见光图像边缘模糊)连续阈值化过程中红外与可见光图像的区域面积变化可能不一致.,使得区域提取难以保证

可重复性的要求[8,23]平滑部分和边界部分(2

)均匀区域形状的冗余表达.

,其中平滑部分和低判别性.均匀区域包括边界部分并不提供有效信息别性边界部分生成的描述进行匹配将引入错误信

.对平滑部分和低判息,降低匹配性能[20]基于上述讨论,本文提出一种基于边.

缘响应

和自相似的红外与可见光图像区域匹配方法对红外与可见光图像均匀区域边界强度不一致的.针问题,本文获得红外与可见光图像一致的边缘响应图像,并利用满足特征提取可重复性要求MSER方法提取边缘响应图像中

的均匀区域,.针对均匀区域在红外与可见光图像中只有形状相似的特点,本文利用仿射归一化操作提取区域的形状信息分.针对均匀区域中平滑部分和低判别性边界部引入无效信息的问题,本文在计算区域特征LSS描述基础上,

去除均匀区域中平滑部分和低判别性边界部分生成的描述,得到高效的区域形状匹配LS.

S描述.最终利用生成的LSS描述进行区域 基于边缘响应和自相似的区域匹

配方法

基于区域特征的红外与可见光图像匹配方法包括边缘响应归一化区域检测、区域归一化形状提取、区域形状描述建立和区域特征匹配,整体流程如图1所示.

4个阶段图Fig.11 P 红外与可见光图像区域匹配流程

anrodvceidsuirbleeoifmraeg

geisonmatchingo

finfrared1.1 边缘响应归一化区域检测

通过边缘响应归一化得到红外与可见光图像一致的边缘响应,进而提取MSER特征,

提高红外与可见光图像中区域特征提取的可重复性.首先获得红外与可见光图像各自对应的边缘响应图像,接着归一化边缘图像,最后通过在边缘图像中提取MSER区域特征,获得红外与可见光图像中的均匀区域域具有较高的一致性.由于红外与可见光图像中的均匀区,提取的均匀区域可用于红外与可见光图像的匹配(根据像素二阶矩的特征值获得图像像素级边

1

)计算边缘响应.

缘响应.利用二阶矩的特征值可分析图像结构,包括边缘、角点和平面等.二阶矩的计算如下:

M(p)=æ(çI2

xIxIyö÷x,y∑)∈Z(p)w(x,y)èIxIyI2

yø

(1

)其中Z为图像点p的函数,I3×3邻域,w为高斯加权x和Iy为图像导数,(x标.对二阶矩进行特征值分解,y求)出为特图征像值二λ维坐λ1和

λ2,得到图像I的边缘响应2分为(p)3)E|部分p∈I:}(p.)={(λE1将图像(p通过分析图像边缘响应)

,当λ1像素位于图像边;当λ、λ2差较大时,缘部分λ1、λ2值均较小时,像素位于图像平滑部分;当1、λ2值均较大时,像素位于图像角点部分.

(图像中2

)生成归一化边缘响应图像的边缘由λ1与λ2的差来确定.由于红外与可见光图像间梯度不一致,其对应的边缘响应强度同样不一致,导致λ.1与λ2的差也不一致为获得红外与可见光图像一致的边缘响应,利用特征值的差与较大特征值的比值进行归一

化[24].不失一般性,令λ1下:

≥λ2≥

0,归一化计算如T(p)

={

(λ1(p)-λ2(p)/λ0;

)1(p);λ1(其他

p)

>ε(2

)1 第3期

王琦等:基于边缘响应和自相似的红外与可见光图像区域特征匹配方法

319

其中归一化边缘响应T取值范围为[防止平滑部分具有较大的响应值.本文通过0,1],参数ελ1的分布决定参数ε的值,使得具有非零响应值的边

缘像素数量占总像素数量的(50%[24]

在归一化边3

)提取均匀区域特征.

缘响应图像中提取特征,并进一步筛选均匀区域MSER区域域的要求,排除取得极值时面积变化大于最大允.为满足提取均匀区许变化值(本文取可见光图像中不一致细节结构的影响0.25)的区域[25

].

为去除红外与,排除包含像素数量占图像I的比例小于最小面积比(本文取.21 00区域归一化形状提取

/I)的区域[25].

由于红外与可见光图像中区域形状保持一致,进一步提取MSER区域特征的形状信息通过仿射归一化提取区域形状[26]

特征,首先求出区域中心和协方差矩阵,对检测出的区域.

,然后进行归一化,得到区域对应的形状信息(.

区域中心1

)计算区域中心c区域中心通过图像原点矩计算得出(xc,yc)反映了区域的位置信息[26

].

对图像I,中区域R,其(α+βm)

阶原点矩的定义如下xαy:αβ=

βI(

(3

)根据式(c3

(),区域中心的计算如下(x∑,y)

∈Rx,y):xc,yc)=(

mm1000 mm01

00

)

(4)其中m00矩.

、m01和m10分别为0阶、

1阶和1阶原点(区域协方2

)计算区域协方差矩阵差矩阵U反映了区域的尺寸和方

向信息,区域协方差矩阵通过图像中心矩计算得

出[26].对图像I中区域R,其(α+β算如下:

)

阶中心矩的计uαβ=

x-xc)α(y-yc)βI(x,y)(

5)根据式((x5

∑

,y))

,∈协方差矩阵R(U如下:U=m1æ2000çuèuu11ö11u02÷ø

(6

)其中u(20、u02和u11均为2阶中心矩.

根据区域中心3

)生成归一化区域形状c和区域协方差矩阵U到区域的归一化形状信息.首先将区域协方差矩,可得

阵按式(7

)进行特征值分解U=QDQ:T

(7

)其中Q为特征向量矩阵,D为对角线元素为特征值的对角阵.接着建立归一化区域中位置s与原图像位置p间的映射关系,计算如下:

p=

kAs+c其中A=2QD1/

2矩阵间的尺度因,子参,数k为归一化区域与协方(8差)p和s分别为原图像位置和归一化后的位置,区域[s宽和高的范围均为

1-.31 00(区域形状描述建立

,100].对归一化区域1

)建立区域描述s取间隔为点[20

]L,按照计算所有以采样点为中心的图像块与文献[20]

中介绍的5像素的网格采样

算法生成采样点区域中心图像块的差平方和SS描述.

[20]

和归一化并转换为相关曲面,将得到的差平方极坐标并按角度分.然后将相关曲面转换到对数份[20

],最终对每一采样点得到280份、

按半径分4成0维描述向量f.综合所有采样点的描述形区域描述{F=

f1,…,(在提取的区域描述中去除冗余描述2

)f选择有效描述m}

,其中m=(200/5)2

.①去除平滑图像块的描述

.

由于平滑图像块与邻近区域均相似,对其提取的描述f各分量dh大小相似疏性度量检测这一类型描述[]

.本文采用向量稀

27如下:

,稀疏性度量计算

n2

S(f)

=n-

(h∑=1

d)

nhhhn-1

∑=1

d(9

)其中1n为向量f的维数,本文为当且仅当向量f仅有一维非零80取.式(,

值9为)

0取值为当且仅当向量f所有维均相等,其余情况取值在两个极值之间.

对平滑图像块描述的检测如下:

Sμ根据文献(f[)<图像块描述后,在整体区域描述27]设μ其中参数为0F.1检测到(平10)中去除相应的.滑特征描述②.

去除低判别性图像块的描述

由于低判别性图像块在区域内存在相似描

述[28

]性图像,通过比较区域内的描述相似性检测低判别块[21]

对低判别性图像块描述的检测如下[

21

]:.fa-fb/fa-fc≤ν(11

)1320

大连理工大学学报

第60卷

其中fa邻描述和次近邻描述、fb和fc分别为待检测图像块描述、最近,参数0ν根据文献[检测到低判别性图像块描述后,在区域描述21]

设为F.6中去除相应的特征描述3.

,

得到最终的区域描述.1.4 区域特征匹配

本文通过区域描述间的相似性进行区域特征

的匹配[21]{(pi.给定红外图像区域描述Rt={ci1,fi1),(pi2,fi2),…,(pii}|i=1,…,M},,Ni其中M为红外图像中区域个数,fNi,c)

i为第i个区域Rti的中心,(pil,fil位置和描述,l=1,)

…,为第i个区域的第l个像素的Ni,Ni为第i个区域包含的

像素点个数.通过衡量红外图像区域描述与可见光

图像的区域描述(Rrpj={cj,{(pj1,fj1),(pj2,fj2),…,Nj,fjNj间的匹配)关}|j系=,1其,…,N中N}为的相似性得到区域特征可见光图像中区域个数,cj为第j个区域Rrj的中心,(pjk位置和描述,k,fjk区域的第k个像素的=1)为第,j个NjN…,,

j为第当红外图1

j个区域包含的像素点个数()区域特征点匹配.

像第i个区域Rti的第l个特征点

描述fil与可见光图像第j个区域Rr

j的第k个特征点描述fjk满足

fil-fjk<

e时,则(fij)其中距(12

)l,fk根据文献[(对每一候选匹配点对2

)区域特征集合匹配21]为取值为候选0匹.2配7点.

对,离参数e(fil,fjk特征fii),根据红外图像l与区域中心c的位置关系,按式(特征fj13)得到k在可见光图像中的预测区域中心:

cj-=pjk-(pil-ci根据可见光图像中匹配点集合计)算区域的(中13心

)j心满足式,若预测区(14域):中心与可见光图像中匹配点的中cj-j则(fij)σ(14

)l一定的容错能力,fk为正确匹配点对-c.<参数σ反映了对区域,可以取4个像素(最终选择可见光图像中具有最多匹配点对且

3

)匹配区域选择.

匹配点数超过1min{Rrj,Rti}的区域Rr

j作为红外图像中Rt

2i的匹配区域.

当可见光图像中对红外图像同一特征点存在多个匹配点时,保留可见光图像中最相似的点作为匹配点.

1.5 算法流程

给定红外图像和可见光图像,输出图像间特征匹配关系光图像是相同的.算法中步骤(1)~(3)对红外与可见算法

整体流程

.

输入:

红外图像It输出:特征匹配关系,可见光图像Ir

/M/=S(1

e)c区域特征检测Matching

_SetondE=Eigen-de_cMoommpoesnitti_oMnatMrix(I)

T=EdgeR=MSE_RN_oErxmtraaliczte(Eion)()c//=C(T2

e)n区域形状归一化()

troidU=Covarian_cCea_lcCuallactuiloanti(Ron)Rs()

/F/=N=L(ormalization(R3)S区域描述生成,c,U)SForeach_fDescriiinFption(s) Ifi满足式( Dfel10)和(11)f

etefinF/E EndFndoIrM/a(t4

c)hi区域特征匹配ng

_Set=match(Rr,Rt

)2 实验与分析

2.1 实验环境

实验平台为I部分包括nteli5处理器vs2014位核0、op

3en.c3Wv0Gindo2.4Hw.zs使用的评估数据集、8G7,

硬件部分包括B内存,

软件包括长波红外与可见光图像数据集CVC[2

9]

和L[0]评估指标包WIR3、近括红区外域与特可征见检光测图可像重数复据性集[1]

[23N]

I和R3区域.特征匹配正确率复性描述了特征检测方法对不同图像检测特征中

-召回率[32].

区域特征检测可重对应特征的比例[23]

区域特征匹配正确率描述了特征匹配后正确匹配特征在所有匹配特

.率-

召回征和对应特征中的比例[32]区域特征检测可重复性计算如下.

:

K=Na其中N/a为所有对应特征的数量min(#Ir,#,It

而)(15

)Na计算如下:

#I表示图像特征的数量.Na=

其中区域到区域的对应关系∑i∑jG(

i,j)(G16

)计算如下:

c 第3期

王琦等:基于边缘响应和自相似的红外与可见光图像区域特征匹配方法

321

G(i,j)

=参数η为区域特征间的重叠误差{

10;;η<其他

0.4

(17

),计算如下:

1-(Ri∩HTRjH)/(Ri∪HT

RjH)=η其中符号(

18)为图像间变换关系∩和∪分别表示区域的交集和并集,H.正确率为正确匹配数量与全部匹配数量间的比值,计算如下:

P=Ns/(Ns其中N()s为正确匹配数量,N+fNf为错误匹配数量)1.

9

召回率为正确匹配数量与对应特征数量间的比值,计算如下:

O=N.2 s消融实验

/Na

(20

)特征描述的构建过程包括基于边缘响应的区域检测、区域归一化形状提取和区域形状自相似描述建进行消融实验.为评估每个过程的有效性,对特征描述的构.实验采用了4种策略:无边缘响应(似描述NER()、无形策略时,P其他过程保持不变LSS)和状最归终一描化述(NSN)、.(图Final)区.域当像采素用自一相种策略时对长波红外与可见光图像的匹配正确率2显示了采用不同,

可见最终描述取得了最好的匹配性能.

图不同策略的正确率

Fig.2 P2r ecisionofdifferentstrateg

ies.3 区域检测性能分析

本节给出本文检测方法对红外与可见光图像区域检测的实验结果和分析,用于比较的区域检

测方法包括文献[23]推荐的IBR(intens外数据eg

ion)集和上的可重复率指标NMISRE、R方法表长波红.外1给出了各方法在近红ityb

ased数据集LWIR&CV,而.由表MSE1可见,本文方法得到了C较高的可重复率R的可重复率则最低这一结果与文献[素强度变化检测区域23]的结论一致,因此在图像模糊的情况下.MSER基于像.其可重复率急剧下降图像存在对比度低、图.由于红外图像相比可见光像模糊的现象,MSER对红外图像检测的区域与对可见光图像检测的区域相比可重复率较低.

表Tab.1 Re1pe 区域检测方法可重复率

atabilityofreg

iondetectionmethods数据集可重复率

LWIRNI&R

IBR

MSER

本文方法CVC

00..533217

00..4221

00..1498

图方法对

长波红外与可见光图像的一组区域检测结果3依次显示了IBR、MSER和本文,其中检测区域以椭圆表示.由图3可见,本文方法取得了较好的检测结果,进一步验证了表结论给出了一系列无实际意义且不规则的区域.IBR虽然检测出数量更多的区域,1给出的但同时也采用归一化边缘响应突出了图像的均匀区域.本文,相比MSER提取了更多的区域特征.

(a)IBR

(b)MSER

c

)本文方法图Fig.3 R3e (区域特征提取

g

ionfeaturesextraction.4 区域匹配性能分析

用于比较的区域描述方法包括归一化互相关

22r2322

大连理工大学学报

第60卷

((n给出了各方法在近红外数据集mourtmuaallizinefdorcmroastisonco,rMrIel)at、iDoLnS,NCC)、互信表息据集LWIR&CVC中的正确率和召回率NS和IR、D长波红外数ASC.2可见,本文方法在所有方法中取得了较高的正确.

由表2率和召回率,具有较好的匹配性能.

表Tab.2 P2re 区域描述方法的正确率和召回率

cisionandrecallofregiondescrip

tionmethods数据集

方法正确率召回率NCI

C

00NIR

DLMSS0.0.4586290.0.5340.519本文方法DASC

0.0.6NCC

0.5830.169340.60.6825LWIR&CVC

DLMASI

SS0.00312680.040C

0.07260.本文方法

D0..049056

0.2410.0.18352270

图和本文方法对长波红外与可见光图像的一组区域4、5依次显示了NCC、MI、DLSS、DASC

匹配结果.图中的区域特征以黄色椭圆表示,绿色直线表示正确匹配,红色直线表示错误匹配2的结论一致,本文方法得.图中显示的匹配结果与表到了较多的正确匹配.其余方法均因正确匹配比例低而无法用于长波红外与可见光图像的匹配.

(a)NCC

(b)MI图Fig.4 R4 区域特征匹配(一)

egionfeaturesmatching(

1)(a)DLSS

(b)DASC

图Fig.5 R5 (区域特征匹配c

)本文方法(二)

egionfeaturesmatching(

2)图与可见光图像和长波红外与可见光图像的匹配结6(a)、(b)

分别显示了本文方法对近红外果.由图6可见,本文方法可实现对不同波段红外与可见光图像的匹配.

(a

)近红外与可见光图像匹配(图b

)长波红外与可见光图像匹配本文方法区域匹配结果

Fig.6 Regionm6 atchingresultsoftheprop

osedmethod 结 语

本文提出了一种基于边缘响应和自相似的红

3 第3期

王琦等:基于边缘响应和自相似的红外与可见光图像区域特征匹配方法

323

外与可见光图像区域匹配方法.该方法通过获得图像归一化边缘响应并提取均匀区域,克服了区域提取可重复性低的问题;利用红外与可见光图像区域形状相似的特点,提取均匀区域的形状并计算局部自相似建立区域的形状描述.鉴于均匀区域包含大量的冗余信息(如区域的平滑部分和低判别性边界部分),通过进一步去除这些冗余信息生成最终的特征描述立区域对应关系,实现红外与可见光图像的匹配.利用生成的特征描述建实验证明,本文方法可对红外与可见光图像取得.

良好的匹配性能.

参考文献:

[1]BvMEoeuAnhlitSciUl-yesVIsspeS[ctemCtAr]aGlvEA,AOUFN,COURTOISH.

//i2s0u1a6IloEdEoEImetnrtyernf

aotrionuanlCmaonnnfeedrenacire

s,Man,andCy

bernetics,SMC2016-ConferenceProceeding

s.Budapest:EEE,2016:[2]1K9HA94-1T9T99.

I,PInVaisEvEiugaEAal-ttieohArnierKSmosnallaceCdeag

nAordPandmACHRISTOSC,ALEXISK.

feeardrkenvsciePsaunarledioceenndveiirrtnoiasnlf,meunstison[Jfo]r

.[3]1):fWAN87GP417,87pQ.

g

2019(1ofUZG,WANGP,etal.Acoarse-to-

asianntedRellietmeiatcmhianggeraelg

giosrtirtahtimonfo[rJ]F.LIIEREEanGdeosocp

iteinccalmoteSensinetters,():e[4]VgL

2012,94599-603.oRIreUnigteiRensrttAnarLatatitioionoMn-narleoF,sftrGicmYetuoelAsdtiRscieSpDnIeIcFctMeTraClsI[andCaY,te]lliT/teiEMLZELA.

/2m0a0g

9esIwEiEthE

RemoteSensing

Smosium,IGARSS2009-Proceedin[5]TTyoAwps.CaeNn:GICEEQE,,2009:III243-III246.

g

pInfraredandTvIisAibNleGimY,ageCsHEreNg

istXratT,ionetawil.

thiandsappetcatbiloelno[cJal]-.glIonbfarlfareedatPurheiysicnsateg

nrdatioTnechfnoorlorgayil,[6]2Z0AuHA17,87:tomOatiB3cQ1-,39andX.

UroTbusF,tiCnfHraEreNd-vYisibW,leeitamal.geassesq

ouceinatcieon[Jre]g.iSsternastoirosn,201v9ia,19(s)pa:tio-temp

oral[7]ZITOVÁB,FLUSSERJ.Ima5e9r9e7-1013.

Cmoetmhpoudts:ing,A200s3ur,v2e1y[(11)J]:9.77-I1m00agg0e.ang

distrVaitsiioonn[8

]胡修兵.中波红外与可见光遥感图像匹配技术研究[HUD]Xiu.武汉:武汉大学,bing.Researchon2te0c1h4n.

ologiesofmatching

bseetnswienegnimmaigde-sinf[rDare]d.Waunhdanv:isiWbluehanbanUdnivreersmitoy

te

,[9]2rwMA014eigdieT.(o-nbAisaSJnC,hse[lJin]eCin.sHUMese

)ItmeraegoeafO,rondmUVmRiaBsxAioinmNalClM,eoyms

ttpaubatill.Robust

eng

e,xt2re00m4al,22([10]廉10):蔺,7李国辉61-767,王.

海涛,等算.基于法[报,JM.S电ER的红外与

可见光图像关联特征提取]子与信息学

LIA2N01L1,33():in,L7IG1u6o2h5u-i1,63WA1.NGHaitao,etal.

iCJnoofrurrraenrsepalodonadfnidngElevfcietsaritobunlierecsiemxt&argaecIstionfounalg

orithmbetweenrsminatgionMSTeEcR[hnoloJ].,[11]Z20HU11,ese

gy

33(iXL7):,HA16O25Y-16G3,1.(WAinCNGhiHn)Y.Researchon

bnafsreadoredangnrdap

vhisi[bClei]/m/agIeTsrMeWgiesbotratfCiononafleg

roernitchesm.[12]iLWIuUhaLn:,ETDUPSOcHienYce,s,X2U01T7,.

etal.Multi-sp

ectralemnahgaerncedegisMtrSaEtiRon[aJnd].eIvamlaugaitniognSbciaesnecdeoJnouerdng

ale-,[13]2aL0I1U4,62(X4):228-235.

afnfidvneaZ,isinbdcAleioIYF,ZHANGJL,etal.Anovel

mnatraesrteinisvtariantdesc]rip

torforinfrared,[14]2():ggration[J.RemoteSensing

L0I1U8,10XZ,4AIYF658.

,TIANB,eonofinfraredandetavl.Robustandfast

reistratiisibleimaesIlnegdcutrstor-ioap

ltiEclaelctrpoond[ics,J].IEEg

for(E)T:ransactionson[15]YEYX,SHENL,HA20O19,66M,et2al.1R3o3b5u-s1t3o44ti.cal-tpoLr-eoSAttpeerrRsti,esi[ma]gematchinp

gbasedonshap

e[16]KIMS,2M0I1J7,.1I4E(ENDB4EG):,HAM5e6os4c-ienceandRemoteSensing

B56,8et.

al.DASC:dcensedescritorformuRobust

oonPrreastp

teornnAdenpncaeelssitsimanatdilotMni-m[achJod]aine.lIIanEntEdelEmliTulenrtai-censsp

ectral,actions39([17]YE9):Y1X71,2-S1HA7y29N.

g

2017,rJ.Alocaldescrip

torbasedieImgSPaisgtRerSsatiJwooinmtuhernanthodformultispectralremotesensinglon-olfineParihotnotgernasmitmyetdriyffera

enndces[RemJ]ote.Sensin[18]WUQg,,2X0U14,90:GL,C8H3-E9N5G.efficientmulti-sourYH,etal.Robustand

oPnhbsiecsst-abnudTddieecsshnoiclmeoiliamr,iatgyemm

eaatscuhirneg[m

Je]th.oIdbnfraasreedd19SseElfD-sAimGilHAaritTyA,desEcBriAp

tDoIH.2019,101:[]ygyrforDismtiunltcit8-isv8-ee9nso5.orrderrebamsoetd

e324

大连理工大学学报

sensinmaematchinJ].ISPRSJournalofgigg[

,2PhotorammetrndRemoteSensin015,108:gyag

第60卷

62-71.

[]S20HECHTMANE,IRANIM.Matchinocalself-gl

similaritiesacrossimaesandvideos[J].g4270223.[]CHA,Z21TFIELDK,PHILBINJISSERMANA.

Efficientretrievalofdeformableshaeclassesusinpg

/2localself-similarities[C]/009IEEE12thInternationalConferenceonComuterVisionp

,:WorkshosICCVWorkshos2009.KotoIEEEyppProceedinsoftheIEEEComuterSocietonferencegpyC

,onComuterVisionandPatternReconition2007:pg

)Chinese

[]F26ORSSÉNPE,LOWEDG.Shaedescritorsforpp

/2maximalltableextremalreions[C]/007ysg4409025.

[]HO27YERPO.Non-neativematrixfactorizationg

]withsarsenessconstraints[J.JournalofMachinep

IEEE11thInternationalConferenceonComuterp

,I:IVisionCCV.RiodeJaneiroEEE,2007:

,Learninesearch2004,5:1457-1469.gR

[]杨燕,胡小鹏,吴思宁,等.基于注意力选择的局28

]部特征匹配方法[J.大连理工大学学报,2019,

():592186-193.

,HUX,WUS,eYANGYaniaoeninintal.pgg

,ComuterSociet2009:2-271.py

[]S22EDAGHATA,MOHAMMADIN.Illumination-

robustremotesensinmaematchinasedongiggb

orientedself-similaritJ].ISPRSJournalofy[

21-35.[]M23IKOLAJCZYKK,TUYTELAARST,SCHMID

C,etal.Acomarisonofaffinereionpg

,2PhotorammetrndRemoteSensin019,153:gyag

,():)Technolo2019,592186-193.(inChinesegy

[]A29GUILERAC,BARRERAF,LUMBRERASF,

etal.Multisectralimaefeaturepoints[J].pg,():Sensors2012,12912661-12672.[]A30GUILERACA,SAPPAAD,TOLEDOR.

LGHD:Afeaturedescritorformatchincrosspga2015,2015:7350783.[]B31ROENM,SUSSTRUNKS.Multi-sectralSIFTp

]forscenecateoreconition[J.Proceedinsofgyrgg[]M32IKOLAJCZYKK,SCHMIDC.Aperformance

evaluationoflocaldescritors[J].IEEEp

theIEEEComuterSocietonferenceonComuterpyCp

,VisionandPatternReconition2011:5995637.g

Matchinethodoflocalfeaturebasedonattentiongm

]selection[J.JournalofDalianUniversitfyo

[]L,L24EEJH,KIMYSEED,etal.RobustCCD

]detectors[J.InternationalJournalofComuterp

,(/):Vision2005,651243-72.

non-linearintensitariations[J].Proceedins-yvg

,InternationalConferenceonImaeProcessinICIP,gg

,():Letters2010,174347-350.

[]王永明,王贵锦.图像局部不变性特征与描25

述[M].北京:国防工业出版社,2010.

andIRimaereistrationusinradient-basedgggg

]statisticalinformation[J.IEEESinalProcessingg

,WANGGWANGYonminuiin.ImaeLocalggjg

:InvariantFeaturesandDescritors[M].Beiinjgp,2NationalDefenceIndustrress010.(inyP

TransactionsonPatternAnalsisandMachiney

,():Intellience2005,27101615-1630.g

Methodofreionfeaturematchinfinfraredandvisibleimaesggog

basedonederesonseandself-similaritgpy

(,,SchoolofComuterScienceandTechnoloDalianUniversitfTechnoloDalian116024,China)pgyyogy

*

,,WANG Qi HU Xiaoen WANG Fanpg

,comutervision.Duetothedifferenceofinfraredandvisiblesectrathesimilaritetweentheppyb

imaesislow,leadinothelowaccuracfimaematchin.Accordinothesimilaritfreionggtyogggtyog

,shaesininfraredandvisibleimaesamethodofreionfeaturematchinasedonederesonseandpgggbgp,self-similaritisproosed.Firstlederesonsesofinfraredandvisibleimaesarecalculatedtoypygpg

;,detectreionfeaturessecondlreionshaesareextractedandself-similardescritionsofreiongygppg;,shaesareestablishedfinallreionfeaturesarematched.Exerimentalresultsshowthatthepygp

roosedmethodhasgoodperformanceintermsoffeaturedetectionreeatabilitndfeaturematchinpppyagaccurac.y:;;;Keordsself-similaritederesonsereionmatchininfraredandvisibleimaesygpgggyw

:MAbstractatchinfinfraredandvisibleimaesisanimortantresearchtoicinthefieldofgogpp