一种火星遥感图像增强方法与装置

计算;推算;计数设备的制造及其应用技术1.本发明涉及计算机视觉与多媒体分析领域，具体涉及遥感图像增强方法与装置。背景技术：2.对于一幅受到沙尘影响、被重度沙尘覆盖的遥感图像，增强方法的目标是修复出其未受沙尘影响时的清晰状态。随着中国天问一号火星探索项目的开展，火星环绕器负责对火星表面的地质地貌进行观测，但是火星表面的周期性沙尘暴严重影响了观测任务的开展。本发明提出的沙尘图像复原方法对火星环绕器观测任务的进行和火星遥感图像的分析工作有着重要的辅助作用。3.针对遥感图像去沙尘任务，当下缺少与之相关的研究，图像修复领域内与之较为相关的任务是图像去雾。但是去雾的模型无法直接应用于遥感图像去沙尘任务，其主要原因是遥感图像中火星表面的沙尘分布与地球上的雾霾分布不同，在地球上雾霾趋近于均匀分布，而火星表面的沙尘分布具有一定的随机性。在全局上看火星遥感图像的不同位置沙尘的强度变化可能较大。除此之外，由于缺乏配对的数据，图像的修复质量受到严重的限制。因此，针对火星遥感图像的去沙尘任务，需要对现有的散射模型进行改进，并设计数据的仿真手段以开展深度神经网络的监督训练。技术实现要素：4.根据上述实际需求和关键问题，本发明的目的在于：提出一种火星遥感图像增强方法与装置，给定真实沙尘图像，从单张图像中修复其清晰状态。5.本发明包含如下5个步骤：6.步骤s100，获取火星环绕器拍摄的多个清晰火星遥感图像，使用沙尘渲染方法对每个清晰火星遥感图像生成多个对应的带有沙尘的图像，其中，清晰火星遥感图像是指未被沙尘遮挡的图像；7.步骤s200，使用所生成的各个多个清晰沙尘图像对，训练深度神经网络，得到训练完成的神经网络，其中，多个清晰沙尘图像对中的清晰沙尘图像对是清晰火星遥感图像和对应该清晰火星遥感图像的带有沙尘的图像组成的图像对；8.步骤s300，将真实的带有沙尘的图像输入训练完成的神经网络，经过一个卷积神网络层和两个二倍下采样层降低真实的带有沙尘的图像的空间分辨率并扩展通道维度，得到特征图；9.步骤s400，将特征图依次经过三个密集深度卷积模块提取特征；10.步骤s500，将提取的特征经过两次上采样操作和一次卷积操作，以将空间分辨率和通道维度还原为与真实的带有沙尘的图像的空间分辨率和通道维度相同，其中，训练完成的神经网络的输出是对真实的带有沙尘的图像的清晰重建结果，清晰重建结果是将真实的带有沙尘的图像转变为未被沙尘遮挡的图像的结果。11.根据发明公开的方法属于火星遥感图像增强方法与装置，相比传统的去雾模型，具有三个有益的特点：1)本方法设计了火星沙尘图像的仿真方法，该方法可以对清晰遥感图像渲染出与真实沙尘相近的效果。2)借由渲染出的成对数据，本方法利用监督学习方式学习清晰图像与沙尘图像之间的映射关系，相比无监督方法和非深度学习方法大大提升了图像的修复质量。3)本方法提出的密集连接深度卷积模块可以大大提高特征的提取效果，并可以直接应用于其他的神经网络框架。4)本方法使用仿真数据训练的深度神经网络可以直接应用于真实的沙尘图像进行修复工作，可以减弱沙尘对观测和分析工作的视觉影响。附图说明12.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。13.图1是本发明火星遥感图像增强方法与装置实施的流程图；14.图2是本发明火星遥感图像增强方法与装置实施的算法流程图；15.图3是本发明火星遥感图像增强方法与装置网络模块结构图。具体实施方式16.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。17.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。18.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。19.下面将参考附图并结合实施例来详细说明本公开。20.参阅图1本发明实施例一的流程图100，包含如下步骤：21.步骤s100，获取火星环绕器拍摄的多个清晰火星遥感图像，使用沙尘渲染方法对每个清晰火星遥感图像生成多个对应的带有沙尘的图像。22.在一些实施例中，火星遥感图像增强方法的执行主体可以获取火星环绕器拍摄的多个清晰火星遥感图像，使用沙尘渲染方法对每个清晰火星遥感图像生成多个对应的带有沙尘的图像。其中，清晰火星遥感图像是指未被沙尘遮挡的图像。23.作为示例，一个清晰火星遥感图像通过沙尘渲染方法可以得到多个带有沙尘的图像。例如，可以得到7张带有沙尘的图像。24.实践中，为了渲染出真实度较高的沙尘图像，可以从地球上通用的物理散射模型出发，逐步将通用的物理散射模型转化为适用于火星遥感图像的退化模型。在步骤s100中，对于每个清晰火星遥感图像，通过物理散射模型生成对应的带有沙尘的图像：[0025][0026]其中，x表示像素位置。λ表示光的波长。h表示带有沙尘的图像的强度值张量。h(x，λ)表示带有沙尘的图像中像素位置x处波长为λ的光的强度值。c表示清晰火星遥感图像的强度值张量。c(x，λ)表示清晰火星遥感图像中像素位置x处波长为λ的光的强度值。表示透射率张量。表示像素位置x处波长为λ的光的透射率。表示全局光照。表示波长为λ的光的全局光照；[0027]其中，的生成过程为：[0028][0029]其中，α表示沙尘强度参数。m表示沙尘强度张量。m(x)表示像素位置x处的沙尘强度。m由固定参数的2维柏林噪声生成。[0030]其中，的生成过程为：[0031][0032]其中，φ表示颜色修正系数。φ(λ)表示波长为λ的光的颜色修正系数。λ0表示使得清晰火星遥感图像的强度值取得最大值时的光的波长。c(x，λ0)表示清晰火星遥感图像中像素位置x处波长为λ0的光的强度值。表示清晰火星遥感图像中的所有波长的强度值中的最大强度值。[0033]其中，φ(λ)计算过程如下：[0034][0035]其中，表示多个真实的带有沙尘的图像中重度沙尘区域的集合。表示多个真实的带有沙尘的图像中重度沙尘区域的数量。h′表示真实的带有沙尘的图像的重度沙尘区域。|h′|表示真实图像重度沙尘区域的像素数量总和。h′(x，λ)表示h′中像素位置x处波长为λ的光的强度值。表示h′中所有波长的光的最大强度值。[0036]步骤s200，使用所生成的各个多个清晰沙尘图像对，训练深度神经网络，得到训练完成的神经网络。其中，多个真实的带有沙尘的图像可以是火星环绕器拍摄的图像。[0037]在一些实施例中，上述执行主体可以使用所生成的各个多个清晰沙尘图像对，训练深度神经网络，得到训练完成的神经网络。其中，多个清晰沙尘图像对中的清晰沙尘图像对是清晰火星遥感图像和对应该清晰火星遥感图像的带有沙尘的图像组成的图像对。[0038]其中，深度神经网络具有以下特征：深度神经网络采用编码器-解码器结构，由编码器部分，特征提取部分和解码器部分组成。编码器部分由一个卷积层和两个下采样层组成。特征提取部分由三个密集深度卷积模块组成。其中，每个密集深度卷积模块由多个特征注意力模块和首尾各一个深度可分离卷积模块组成。解码器部分由两个上采样层和一个卷积层组成。[0039]作为示例，一个清晰火星遥感图像利用沙尘渲染方法得到7张带有沙尘的图像，该清晰火星遥感图可以分别与7张带有沙尘的图像做成清晰沙尘图像对，得到7个清晰沙尘图像对。[0040]步骤s300，将真实的带有沙尘的图像输入训练完成的神经网络，经过一个卷积神网络层和两个二倍下采样层降低真实的带有沙尘的图像的空间分辨率并扩展通道维度，得到特征图。[0041]在一些实施例中，上述执行主体可以将真实的带有沙尘的图像输入训练完成的神经网络，经过一个卷积神网络层和两个二倍下采样层降低真实的带有沙尘的图像的空间分辨率并扩展通道维度，得到特征图。其中，卷积操作不改变空间分辨率与特征的通道数。下采样操作在缩小特征图的空间分辨率的同时会扩张通道数目。真实的带有沙尘的图像可以是火星环绕器拍摄的图像。[0042]步骤s400，将特征图依次经过三个密集深度卷积模块提取特征。[0043]在一些实施例中，上述执行主体可以将特征图依次经过三个密集深度卷积模块提取特征。[0044]在一些实施例的一些可选的实现方式中，上述密集深度卷积模块可以具有以下特征：[0045]将特征图f输入深度可分离卷积模块。其中，深度可分离卷积模块包括的计算过程如下：[0046][0047]其中，f1表示第一特征图。lr表示激活函数。bn表示批量标准化操作。dsc表示深度可分离卷积操作。f表示特征图。f2表示第二特征图。[，]表示特征级联操作。[f，f1]表示f和f1的特征级联操作。f3表示第三特征图。[f，f1，f2]表示f、f1和f2的特征级联操作。f4表示第四特征图。[f，f1，f2，f3]表示f、f1、f2和f3的特征级联操作。f5表示第五特征图。[f，f1，f2，f3，f4]表示f、f1、f2、f3和f4的特征级联操作。o表示深度可分离卷积模块的最终输出特征图。其中，批量标准化操作可以是batchnorm操作。batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，是目前深度网络必不可少的一部分。激活函数可以是leakyrelu激活函数。leakyrelu激活函数可以是在人工神经网络的神经元上运行的函数，可以将神经元的输入映射到输出端。[0048]将得到的最终输出特征图经过多个特征注意力模块,得到注意力特征图。其中，特征注意力模块可以是利用通道注意力机制和空间注意力机制对输入的特征图提取特征的模块。[0049]将注意力特征图经过一个深度可分离卷积模块得到目标输出特征图。其中，目标输出特征图可以是密集深度卷积模块的最终输出。[0050]图2是本发明火星遥感图像增强方法与装置实施的算法流程图。图2中，可以对特征图f和第一特征图f1进行特征级联操作，得到第二特征图f2。然后，可以对特征图f、第一特征图f1和第二特征图f2进行特征级联操作，得到第三特征图f3。之后，可以对特征图f、第一特征图f1、第二特征图f2和第三特征图f3进行特征级联操作，得到第四特征图f4。接着，可以对特征图f、第一特征图f1、第二特征图f2、第三特征图f3和第四特征图f4进行特征级联操作，得到第五特征图f5。最后，可以对特征图f和第五特征图f5进行按元素加操作，得到深度可分离卷积模块的最终输出特征图。[0051]步骤s500，将提取的特征经过两次上采样操作和一次卷积操作，以将空间分辨率和通道维度还原为与真实的带有沙尘的图像的空间分辨率和通道维度相同。[0052]在一些实施例中，上述执行主体可以将提取的特征经过两次上采样操作和一次卷积操作，以将空间分辨率和通道维度还原为与真实的带有沙尘的图像的空间分辨率和通道维度相同。其中，训练完成的神经网络的输出是对真实的带有沙尘的图像的清晰重建结果，清晰重建结果是将真实的带有沙尘的图像转变为未被沙尘遮挡的图像的结果。[0053]其中，清晰重建结果的重建过程具有以下特征：每次上采样操作会缩减特征图的通道数并增大空间分辨率。最后的卷积操作不会改变空间分辨率与通道数，并且其输出的形状与输入图像相同，此时得到的最终输出就是去沙尘的结果。[0054]图3是本发明火星遥感图像增强方法与装置网络模块结构图。图3中，依次将特征图输入卷积层、两个下采样层，并将两次下采样后的特征图进行深度可分离卷积模块、特征注意力模块和深度可分离卷积模块。之后，可以将通过深度可分离卷积模块的特征图两次输入密集深度卷积模块，然后再通过两次上采样层，最后将两次上采样后的特征图输入卷积层，得到最终的特征图。[0055]可以理解的是，一种火星遥感图像增强装置中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于一种火星遥感图像增强装置及其中包含的单元，在此不再赘述。[0056]以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!