一种复杂背景下红外与可见光图像配准的方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于采用热红外和可见光图像进行设备状态监测、安防监控、环境监测、军事侦查等技术领域，具体涉及一种基于互信息相似性度量及智能优化算法的可用于复杂背景下红外与可见光图像配准的方法。背景技术：2.热红外与可见光传感器成像特点以及应用场景上具有良好的互补性，基于红外与可见光两种模态图像的目标检测和识别技术具有重要的应用价值。由于红外和可见光这两种传感器拍摄的图像往往是松散相关的，在成像中表现出不同的特性，且在成像场景中的目标物也存在空间位置、角度以及尺寸上的差异，需要利用图像配准技术来消除红外与可见光图像之间在几何空间上存在的偏差，使融合图像场景中每一个空间点在红外图像与可见光图像中具有相同的像素点位置，也就是实现几何对齐。利用红外与可见光的配准和融合技术，可以生成一幅包含被观测场景中重要特征、信息更丰富的图像。现有的图像配准方法有两大类：一是基于特征的图像配准方法，另一是基于区域的图像配准方法。基于特征的方法使用描述算子提取两幅图像的显著特征，并利用特征匹配算法建立图像间的空间变换关系；而基于区域的方法则是使用相似性度量来判断图像整体的相似程度，并通过不断寻找最大相似性度量值的方式得到图像配准的最佳结果。3.由于红外与可见光成像原理的差异，两种模态的图像间存在较大非线性强度差，适合采用基于区域的图像配准方法，具有对图像的质量和内容要求低、抗干扰能力强等优势。但是，实际应用中的户外目标物体往往受到场景中复杂背景如树木、叶簇、云彩、建筑物、周边设备等的影响，使得采集到相同场景的两种模态图像在灰度层面的背景、纹理及轮廓等相似程度大为降低，这种复杂背景的情况造成图像配准困难、准确率较低。4.由于复杂背景区域通常是红外图像与可见光图像细节差异最大的地方，现有的基于区域的配准技术中采用常规的soble和canny等算法提取图像边缘特征，采用简单的nmi函数进行相似性度量。现有技术针对图像相似程度低的问题，普遍思路是通过增强红外图像来丰富其细节信息以匹配可见光图像丰富的纹理。但是，红外图像反映的是场景的温度分布，而可见光图像所具备的纹理信息在红外图像中可能并不存在。图像增强只能将不清晰的轮廓凸显出来，但本身就不存在的纹理是无法通过图像增强方式呈现的。如果一味地追求提取更多的图像信息，会使提取的信息大量存在于图像差异性区域，这反而会降低相似性，增大图像配准难度。另外，现有技术中求解nmi时常采规的粒子群算法和狼群算法等优化算法，但由于红外与可见光图像非线性强度差，再加上复杂背景又导致图像间局部差异加大，这些优化算法收敛性较差，同时由于采用简单的nmi函数会受到大量局部极值的影响，这些优化算法很难快速、准确地搜索到全局最优解。因此，现有的基于区域的红外与可见光图像配准技术在复杂背景下的实用性受到了限制。技术实现要素：5.本发明的目的是为基于红外与可见光图像集成融合的目标检测与识别技术提供一种合适的图像配准方法。该方法针对复杂背景下红外与可见光图像的非线性强度差异大、相似性低和配准难度大的问题，采用基于区域的配准思想，利用图像的灰度信息来衡量图像整体的相似程度，通过构造一种基于灰度分布窗(grayscale distribution window，gdw)与归一化互信息(normalized mutual information，nmi)相结合的相似性度量函数(gdw-nmi)，将图像配准问题转化为求解相似性度量函数最优解的问题，然后利用智能优化算法中模拟狼群捕食行为的一种并行搜索狼群算法(parallel search wolf pack algorithm，pswpa)求解全局最优解，实现红外与可见光图像的准确配准。6.为达到上述发明创造目的，本发明采用如下构思：7.首先，分析了复杂背景下红外图像与可见光图像灰度分布特点与互信息的关联性，通过一个灰度分布窗gdw对待配准的两个源图像分别进行特征提取，构建出一个基于gdw和归一化互信息nmi的相似性度量函数gdw-nmi，其局部极值干扰小、全局最优解突出；然后，借鉴狼群算法中的探狼游走机制，通过可变步长和多维度搜索策略得到一种并行搜索狼群算法pswpa，利用其求得gdw-nmi的全局最优解，作为图像配准的几何变换参数，实现准确的红外图像与可见光图像配准。8.根据上述构思，本发明采用如下5个步骤来实现红外与可见光图像配准：9.步骤1：构建一个gdw函数，分别提取待配准的红外图像和可见光图像的显著性边缘特征，得到两幅特征图像；10.步骤2：将两幅特征图像视为两个随机变量，构造用于度量两幅图像相似程度的gdw-nmi函数；11.步骤3：初始化pswpa算法，将人工狼随机分布到gdw-nmi的优化求解空间中；12.步骤4：执行pswpa算法，在gdw-nmi的解空间中，人工狼通过并行搜索找到全部极值，不断调整步长，迭代剔除局部极值，筛选出全局最优解；13.步骤5：将全局最优解对应的图像参数进行几何变换，应用于被配准的源图像，得到配准后的红外与可见光图像。14.与现有技术相比，本发明具有如下突出的实质性特点和显著的进步：15.1)本发明考虑了复杂背景下红外图像与可见光图像灰度分布特点与互信息的关联性，利用gdw来提取图像显著轮廓，通过将图像间非一致细节信息区域划分到平坦区域并将对应灰度值设置为零，排除了背景区域信息的干扰，减少了重叠区域灰度值配对的种类，所构建的gdw-nmi函数表面光滑且主峰尖锐，用该函数进行相似性度量时能够避免搜索空间中局部极值的干扰，有利于提高配准精度和配准正确率；16.2)本发明所构建的并行搜索狼群算法pswpa，利用了多维度并行搜索和可变步长，全局搜索自由度高，可使人工狼在召唤和围攻过程中不错失极值点，通过人工狼并行搜索相似性度量搜索空间内的所有极值，筛选出全局最优解，可显著提高图像配准的准确率。附图说明17.图1为本发明的一种复杂背景下红外与可见光图像配准方法的流程图。18.图2为本发明的基于gdw的图像显著性边缘特征提取流程图。19.图3为本发明的pswpa算法流程图。20.图4为本发明复杂背景下红外与可见光图像配准的方法的原理图。具体实施方式21.下面结合附图，对本发明的具体实施例做进一步的说明。22.如图1和图4所示，一种复杂背景下红外与可见光图像配准的方法，其实现过程如下：23.步骤1：构建一个gdw函数，分别提取待配准的红外图像和可见光图像的显著性边缘特征，得到两幅特征图像；其具体实现过程如下：24.1)将待配准的红外和可见光图像分别作为待配准的浮动图像和参考图像(或者相反)，分别以两个图像的中心像素点为圆心、半径为(n-1)/2画圆，创建一个大小为(n×n)的窗口gdw，设其中心像素点坐标为(xc,yc)、像素值为g(xc,yc)，其中n一般取3或5。25.2)如图2所示，对当前窗口内所有像素点的像素值进行排序，得到窗口内最大像素值gmax和最小像素值gmin，若二者之差小于设定域值，则视当前窗口内像素点处于平坦区域并将其中心点像素值置0，否则视该区域为边缘区域。这样，可将当前窗口内所有像素点划分为三个区域，低像素平坦区域(设像素值区间大小为α)、高像素平坦区域(设像素值区间大小为β)和边缘区域。然后根据中心点所在的区域对中心点的像素值进行更新，若其处于边缘区域，则通过去除极大、极小值后取平均的方式设置新的灰度值，否则设置为0。其详细执行过程用流程表示如下：26.输出:中心像素点(xc,yc)的新像素值g′(xc,yc)27.若gmin+α≥gmax-β则28.g′(xc,yc)＝029.否则30.若g(xc,yc)∈(gmin+α,gmax-β)则[0031][0032]否则[0033]g′(xc,yc)＝0；[0034]3)如图2所示，用gdw窗口遍历整幅图像的所有像素点，进行2)所述的像素值更新操作，即可得到特征图像。[0035]步骤2：将步骤1所提取的两幅特征图像视为两个随机变量，其中参考图像的特征图记为a，浮动图像的特征图记为b，形成一种相似性度量函数gdw-nmi，用于度量两幅图像的相似程度，其归一化互信息nmi(a,b)表示为：[0036][0037]其中，h(a)和h(b)分别表示a和b的信息熵，h(a,b)表示a和b的联合熵，可通过概率进行计算，有：[0038][0039]其中，pa(a)表示a中灰度值为a的出现概率；pa(a)log2pa(a)表示a中灰度值为a的信息量；pab(a,b)表示a中灰度值为a的像素点在b中对应像素点的灰度值为b的概率，有：[0040]pab(a,b)≤pa(a)ꢀꢀ(3)[0041]假设a中灰度值为a的所有像素点在b中对应像素点的灰度值种类可取为变量x、y和z，则满足如下关系：[0042]pa(a)＝pab(a,x)+pab(a,y)+pab(a,z)ꢀꢀ(4)[0043]则当x∈(0,1),y∈(0,1)且x+y∈(0,1)时，有：[0044]xlog2x《xlog2(x+y)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)[0045]ylog2y《ylog2(x+y)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(6)[0046]xlog2x+ylog2y《(x+y)log2(x+y)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(7)[0047]如果多个变量均在区间(0,1)内，且它们的和也在区间(0,1)内，即x∈(0,1),y∈(0,1),z∈(0,1),…且x+y+z+…∈(0,1)，则满足如下关系：[0048]xlog2y+ylog2y+zlog2z+…《(x+y+z+…)log2(x+y+z+…)ꢀꢀ(8)[0049]所以，在保持其他灰度值不变的情况下，a中灰度值为a的所有像素点对应于b中所有像素点灰度值取x、y和z值时的联合熵，要大于b中灰度值仅为b时的联合熵，即：[0050]-pab(a,b)log2pab(a,b)《-pab(a,x)log2pab(a,x)-pab(a,y)log2pab(a,y)-pab(a,z)log2pab(a,z)‑…ꢀꢀ(9)[0051]至此，两幅图像配准的问题就转化为求解相似性度量gdw-nmi函数最优解的问题，采用下述步骤3和4所述的狼群算法pswpa进行求解。当利用pswpa算法多次迭代搜索最优解，并在每次迭代中使用修正后的参数进行图像几何变换，最终使得两幅图像互信息达到最大值，即完成了两幅图像的配准，表示为：[0052]tbest＝argmax(nmi(a,t(b)))ꢀꢀ(10)[0053]其中，t(b)表示对图像b进行的几何变换，见公式(15)所述；tbest表示两幅图像完全配准时的几何变换参数，也就是gdw-nmi的全局最优解。[0054]步骤3：将人工狼随机分布到gdw-nmi函数的优化求解空间中，进行pswpa算法的初始化。该算法设有三种不同职能的人工狼(探狼、头狼、猛狼)，有三种寻优行为(探狼游走、头狼召唤、猛狼围攻)，有两种智能规则(“胜者为王”的头狼角逐规则、“强者生存”的狼群更新规则)，以此完成迭代寻优。初始化参数包括搜索空间s、狼群中人工狼总数m、几何变换的最大维度数d、游走行为的最大循环次数tscout、召唤和围攻行为的最大循环次数tcalling、最大迭代次数tmax、迭代次数影响因子c1和gdw-nmi变化影响因子c2。[0055]如图1所示，首先随机初始化所有人工狼的位置，并计算每只人工狼所在位置的目标函数值式(10)，将目标函数值最高的人工狼设定为头狼(记为lead)，将其他人工狼划分为探狼和猛狼，然后设定探狼的初始搜索范围。[0056]步骤4：如图3所示，执行pswpa算法。设人工狼i的初始位置为xi，该位置的gdw-nmi目标函数值在pswpa算法中称之为猎物气味浓度yi，将猎物气味浓度最高位置处的人工狼设置为头狼。人工狼的搜索空间维度数为d，也就是gdw-nmi几何空间上的不同方向，由(15)式可见，分别表示图像几何变换中的横向位移、纵向位移、缩放比例和旋转角度。对于每一个搜索维度d∈[1,d]，设定该维度下猛狼与头狼的最近距离为dnear，在该维度下人工狼三种行为的执行过程如下：[0057]1)探狼游走。探狼i在当前迭代次数tcur下的搜索步长为：[0058][0059]其中，su和sl分别表示该维度的搜索上下限。探狼游走过程中，不断向猎物气味浓度更高(更优)的位置移动，若遇到更优的位置，则更新当前位置，更新公式为：[0060][0061]其中，k为更新次数，xi(k)为探狼i原本位置，xi(k+1)为其更新后的位置；λ0为[-1,1]之间的随机数，用于调整探狼的搜索步长。在探狼游走过程中，猎物气味浓度的增量(新位置的猎物气味浓度减去上一位置时猎物气味浓度)与上一位置时猎物气味浓度的比值称之为猎物气味浓度变化率。探狼根据猎物气味浓度的变化率动态调整其游走步长，表示为：[0062][0063]其中，c表示探狼i当前游走过程中猎物气味浓度变化率排在整个狼群中前列的次数，猎物气味浓度变化率排行靠前代表gdw-nmi值突增，此时可通过(13)式迅速缩小该探狼的游走步长，仅针对较小区域进行细致搜索，而其他探狼则继续保持上一次游走的步长，这样可使所有探狼不互相牵制地并行搜索。[0064]2)头狼召唤和猛狼围攻。当探狼游走达到tscout时，更新头狼，进行头狼召唤和猛狼围攻这两个独立的行为。猛狼听到头狼召唤后向头狼位置快速进发，当猛狼距离头狼小于参数dnear时，执行围攻行为。猛狼由召唤行为转为围攻行为同样是根据参数dnear决定。猛狼j的位置更新公式为：[0065]xj(k+1)＝xj(k)+λ1*(xlead-xj(k))ꢀꢀ(14)[0066]其中，xj(k)为猛狼原本位置，xj(k+1)为其更新后的位置，xlead为当前头狼的位置；当xj(k)≥dnear时，取λ1为[0,1]之间的随机数，可以保证猛狼朝着头狼的方向快速移动；当xj(k)《dnear时，取λ1为[-1,1]之间的随机数，可以保证猛狼在头狼附近进行前后搜索。如果此过程中头狼更换了，则新的头狼重新执行召唤过程；否则，当循环次数达到tcalling时，停止召唤和围攻行为，启动强者生存机制启动，将人工狼中位置最差(猎物气味浓度最低)的人工狼重新随机初始化。[0067]依据上述1)和2)的过程，人工狼每移动一步，其所有维度的参数都更新一次，即步骤3执行完，人工狼的每个维度同时执行步骤4，从而实现了并行搜索。[0068]如图3所示，重复执行步骤4，直到达到最大迭代次数tmax为止。此时头狼所在位置即为gdw-nmi的全局最优解tbest，即公式(10)所示，头狼所在搜索空间内的几何位置就是图像配准的最佳几何变换参数。[0069]步骤5：针对待配准图像，使用tbest参数进行几何变换，得到配准后的图像。如式(15)所述，图像几何变换模型为：[0070][0071]其中，四个参数h、v、q和r分别表示待配准图像在几何变换过程中的水平方向的平移量(以像素为单位)、垂直方向平移量(以像素为单位)、缩放比例和旋转角度。[0072]本发明上述实施例复杂背景下红外与可见光图像配准的方法。该方法针对复杂背景下红外与可见光图像的非线性强度差异大、相似性低和配准难度大的问题，首先通过灰度分布窗(gdw)分别提取源图像的边缘特征图像，排除了背景区域信息的干扰，减少了重叠区域灰度值配对的种类；然后构造了一种基于gdw与归一化互信息(nmi)相结合的相似性度量函数(gdw-nmi)，将图像配准问题转化为求解相似性度量最优解的问题，其局部极值干扰小、全局最优解突出；最后利用一种改进的并行搜索狼群算法(pswpa)，可通过步长调整和多维度并行搜索策略求得gdw-nmi的全局最优解，作为图像配准的几何变换参数，实现了红外图像与可见光图像的准确配准。[0073]上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!