基于卷积神经网络的变电站监控视频超分辨方法及系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于视频超分辨率重建技术领域，尤其涉及基于卷积神经网络的变电站监控视频超分辨方法及系统。背景技术：2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。3.随着电网架构日益壮大，信息化技术广泛应用，对变电站的设备区及机房内进行视频监控的需求越来越迫切，通过视频进行设备巡视也已变为现实。然而，视频在摄制、存储和传输的过程中，为了降低保存体积及减小传输压力，往往需要进行视频的压制处理，其中就包括了对视频分辨率的降低，以及高频信号的缺失。视频超分辨率重建是一种快速高效的视频分辨率恢复方式，可以被广泛应用在网络视频传输、监控视频、医学图像加强等方向。4.超分辨技术是对给定的低分辨率视觉信息(包括单幅图像、相近场景的多幅图像、视频序列的视频帧图像等)经过相关的图像处理算法，增加图像的像素密度和恢复在成像过程中丢失的细节信息，从而得到其对应的高分辨率视觉信息的过程。5.超分辨技术根据研究方向大致可以分为三类，基于插值的方法、基于重构的方法和基于学习的方法。插值法的计算复杂度低，容易实现，被广泛应用在实际的系统和产品中，但是因为数字图像信号频谱严格带宽有限的，插值方法往往不能从低分辨率图像中获得高频信息。基于重建的方法是从同一场景的多个低分辨率图像中恢复高分辨率图像，其主要思想是首先收集与高分辨率图像相对应的低分辨率图像，合理地分析其详细信息，并引入已知图像的局部和全局先验知识，以建立观测模型，最后建立数据保真度项，结合图像先验正则化，以生成新像素的分辨率模型。基于学习的方法利用深度学习的特征提取能力，学习图像特征，并利用神经网络进行图像的重建，得到超分辨率图像。6.视频超分辨与单图超分辨的不同之处在于，视频超分辨是对一个图像序列进行处理，序列中存在相邻的相似帧，相邻帧之间信息的关联程度较强，因此能否对相邻的帧进行充分利用，是决定视频超分辨重建图像的质量的关键。7.视频相邻帧之间的关系可以用光流来刻画。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。8.但是，目前的视频超分辨方法无法充分融合相邻帧的特征，从而影响对视频帧的超分辨重建质量。技术实现要素：9.为了解决上述背景技术中存在的技术问题，本发明提供基于卷积神经网络的变电站监控视频超分辨方法及系统，将两侧相邻帧向中间帧进行变换的策略，充分挖掘相邻帧之间的运动信息，能够得到分辨率更高、高频细节更好的视频。10.为了实现上述目的，本发明采用如下技术方案：11.本发明的第一个方面提供基于卷积神经网络的变电站监控视频超分辨方法，其包括：12.提取变电站监控视频中的帧序列；13.由距帧序列中的中间帧最远的帧开始，向中间帧逐级利用光流法进行运动估计，得到光流，并将每一帧对应的图像、光流与相邻帧的初步特征输入到卷积神经网络中进行初步特征提取，将中间帧对应的初步特征作为综合特征；14.将综合特征输入到残差网络，并将经过残差网络提取的特征与综合特征经过加法运算后，输入到反卷积网络中，得到超分辨重建图像。15.进一步地，所述运动估计包括：16.对视频序列中的第t帧it作为中间帧，提取中间帧前的n帧作为相邻帧进行处理，标记为it-n、...、it-2、it-1；17.以it帧作为基准，将it-1使用光流法进行运动估计，得到光流18.以it-1帧作为基准，将it-2使用光流法进行运动估计，得到光流19.以it-2帧作为基准，将it-3使用光流法进行运动估计，得到光流20.以此类推，直到以it-n+1帧作为基准，将it-n使用光流法进行运动估计，得到光流21.进一步地，所述运动估计包括：22.对视频序列中的第t帧it作为中间帧，提取中间帧后的n帧作为相邻帧进行处理，标记为it+1、it+2、...、it+n；23.以it帧作为基准，将it+1使用光流法进行运动估计，得到光流24.以it+1帧作为基准，将it+2使用光流法进行运动估计，得到光流25.以此类推，直到以it+n-1帧作为基准，将it+n使用光流法进行运动估计，得到光流26.进一步地，所述初步特征提取的具体过程为：27.将每一帧对应的图像、光流与相邻帧的初步特征在通道维度上进行张量的串联；28.将串联得到的结果输入卷积神经网络中进行初步特征提取。29.进一步地，对于中间帧，将其对应的图像与两个相邻帧的初步特征进行串联后输入到卷积神经网络中进行初步特征提取。30.进一步地，对于距中间帧最远的帧，将其对应的图像与光流进行串联后输入卷积神经网络中进行初步特征提取。31.进一步地，在训练过程中，将目标图像与得到的超分辨重建图像进行对比，计算两幅视频图像之间的l1损失，使用adam作为优化器不断优化卷积神经网络、残差网络和反卷积网络中的的权值。32.本发明的第二个方面提供基于卷积神经网络的变电站监控视频超分辨系统，其包括：33.帧序列提取模块，其被配置为：提取变电站监控视频中的帧序列；34.特征提取模块，其被配置为：由距帧序列中的中间帧最远的帧开始，向中间帧逐级利用光流法进行运动估计，得到光流，并将每一帧对应的图像、光流与相邻帧的初步特征输入到卷积神经网络中进行初步特征提取，将中间帧对应的初步特征作为综合特征；35.重建模块，其被配置为：将综合特征输入到残差网络，并将经过残差网络提取的特征与综合特征经过加法运算后，输入到反卷积网络中，得到超分辨重建图像。36.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于卷积神经网络的变电站监控视频超分辨方法中的步骤。37.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于卷积神经网络的变电站监控视频超分辨方法中的步骤。38.与现有技术相比，本发明的有益效果是：39.本发明提供了基于卷积神经网络的变电站监控视频超分辨方法，其充分利用视频帧序列中，相邻帧之间的信息，不同于直接以中间帧为基准，将两侧相邻帧向中间帧进行变换的策略，本发明采用渐进的运动估计方式，充分挖掘图像相邻帧之间的运动信息，增强方法的鲁棒性。40.本实施例提供的基于卷积神经网络的变电站监控视频超分辨方法，其能渐进地将相邻帧的特征进行融合和提取，相比于直接将所有变换图像全部输入神经网络的方式，本发明所提出的特征提取更精细，对相邻帧特征的利用也更全面，能够得到分辨率更高、高频细节更好的视频。附图说明41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。42.图1是本发明实施例一的基于卷积神经网络的变电站监控视频超分辨方法流程图。具体实施方式43.下面结合附图与实施例对本发明作进一步说明。44.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。45.实施例一46.本实施例提供了基于卷积神经网络的变电站监控视频超分辨方法，如图1所示，具体包括如下步骤：47.步骤1、将变电站监控视频中的帧序列进行提取。48.步骤2、作为深度卷积神经网络的前端部分，对视频序列中的第t(t＞＝4)帧it(帧序列中的中间帧)，提取其前后共六帧作为相邻帧进行处理，标记为it-3、it-2、it-1、it+1、it+2和it+3，由相邻帧中距it帧较远的it-3帧和it+3帧开始，向it帧逐级利用光流法进行运动估计。49.进一步地，步骤2中的运动估计方法为：50.步骤2-1、对视频序列中的第t(t＞＝4)帧it，提取其前后共六帧作为相邻帧进行处理，标记为it-3、it-2、it-1、it+1、it+2和it+3；51.步骤2-2、对it-3和it-2进行运动估计，以it-2帧作为基准，将it-3使用光流法进行运动估计，得到光流52.步骤2-3、对it-2和it-1进行运动估计，以it-1帧作为基准，将it-2使用光流法进行运动估计，得到光流53.步骤2-4、对it-1和it进行运动估计，以it帧作为基准，将it-1使用光流法进行运动估计，得到光流54.步骤2-5、对it和it+1进行运动估计，以it帧作为基准，将it+1使用光流法进行运动估计，得到光流55.步骤2-6、对it+1和it+2进行运动估计，以it+1帧作为基准，将it+2使用光流法进行运动估计，得到光流56.步骤2-7、对it+2和it+3进行运动估计，以it+2帧作为基准，将it+3使用光流法进行运动估计，得到光流57.步骤3、将视频序列和经由步骤2得到的光流，输入到深度卷积神经网络中，利用卷积神经网络提取图像的特征信息，然后采用残差网络进行图像特征深度提取，最后进行超分辨重建，得到分辨率提升的高分辨率图像。58.步骤3中的深度卷积神经网络的处理过程为：59.步骤3-1、将it-3与进行串联，即：[0060][0061]其中，特征是b*c*h*w的4维张量，concatenate(x1，x2，...，xn)是指在张量的四个维度(b，c，h，w)中的c(即channel，通道)维度，进行张量的串联；b表示batchsize，c表示特征通道数，h和w表示特征的高和宽。[0062]步骤3-2、将输入到卷积神经网络(conv)中进行初步特征提取，得到特征t-3，-2，其公式为：[0063][0064]其中，relu(x)＝max(x，0)为神经网络中的激活函数，w1和b1均为可训练参数。[0065]步骤3-3、将it-2与以及步骤3-2得到的特征t-3，-2进行串联，得到并输入到卷积神经网络中进行初步特征提取，得到特征t-2，-1；[0066]步骤3-4、将it-1与以及步骤3-3得到的特征t-2，-1进行串联，得到并输入到卷积神经网络中进行初步特征提取，得到特征t-1，0；[0067]步骤3-5、将it+3与进行串联，得到并输入到卷积神经网络中进行初步特征提取，得到特征t3，2；[0068]步骤3-6、将it+2与以及步骤3-5得到的特征t3，2进行串联，得到并输入到卷积神经网络中进行初步特征提取，得到特征t2，1；[0069]步骤3-7、将it+1与以及步骤3-6得到的特征t2，1进行串联，得到并输入到卷积神经网络中进行初步特征提取，得到特征t1，0；[0070]步骤3-8、将it与步骤3-4得到的特征t-1，0以及步骤3-7得到的特征t1，0进行串联，得到fl，并输入到卷积神经网络中进行初步特征提取，得到综合特征t1；[0071]步骤3-9、将综合特征输入到残差网络中，其公式为：[0072]t2＝w3*relu(w2*t1+b2)+b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(3)[0073]其中，w2、b2和b3均为可训练参数。[0074]步骤3-10、将经过残差网络提取的特征t2与综合特征t1经过加法运算后，得到t3，将t3输入到反卷积网络(deconv)中，得到超分辨重建图像，其公式为：[0075]st＝w4*t3+b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(4)[0076]其中，w4和b4均为可训练参数。[0077]步骤4、将训练集的图像输入到深度卷积神经网络中，按照步骤1到步骤3的具体操作过程，对深度卷积神经网络进行训练。[0078]步骤4中的深度卷积神经网络的训练过程为：[0079]步骤4-1、基于python脚本语言结合facebook公司支持开发的pytorch深度学习框架，设置学习率为10-4，batchsize设置为8，将输入的低分辨率训练图像裁切为分辨率为64*64的块，其对应超分辨2倍、3倍及4倍的高分辨图像块为128*128，192*192和256*256。[0080]步骤4-2、选取麻省理工学院在ijcv 2019发表的论文中公开的vimeo-90k数据集作为训练数据集，该数据集共包含了从vimeo.com下载的89,800个视频剪辑，其中涵盖了各种场景和动作。选取该数据集的子集：septuplet数据集，包含91,701个7帧序列，固定分辨率为448×256，从vimeo-90k的三万九千个选定视频剪辑中提取。将该数据集中的高分辨图像，与中高分辨图像下采样得到的低分辨图像块分别作为标签和输入，送入网络中。[0081]步骤4-3、设置训练学习率为10-4，设置batch size为8，使用l1loss(l1损失)作为深度卷积神经训练中的损失函数。[0082]步骤4-4、使用adam作为优化器，高分辨视频序列中的当前帧ht(目标图像)与深度卷积神经网络超分辨得到的超分辨重建帧st进行对比，计算两幅视频图像之间的l1loss，利用adam优化器不断优化深度卷积神经网络(卷积神经网络、残差网络和反卷积网络)的权值，对深度卷积神经网络进行训练。[0083]步骤5、在训练集上不断地进行遍历，以最终得到参数最优的深度卷积神经网络。[0084]步骤6、将待超分辨的低分辨率视频帧序列送入训练好的深度卷积神经网络中，利用深度卷积神经网络进行超分辨重建，得到高分辨率的视频帧。[0085]本实施例提供的基于卷积神经网络的变电站监控视频超分辨方法，充分利用视频帧序列中，相邻帧之间的信息，不同于直接以中间帧为基准，将两侧相邻帧向中间帧进行变换的策略，本发明采用渐进的运动估计方式，充分挖掘图像相邻帧之间的运动信息，增强方法的鲁棒性。[0086]本实施例提供的基于卷积神经网络的变电站监控视频超分辨方法，能渐进地将相邻帧的特征进行融合和提取，相比于直接将所有变换图像全部输入神经网络的方式，本发明所提出的特征提取更精细，对相邻帧特征的利用也更全面，能够得到分辨率更高、高频细节更好的视频。[0087]实施例二[0088]本实施例提供了基于卷积神经网络的变电站监控视频超分辨系统，其具体包括：[0089]帧序列提取模块，其被配置为：提取变电站监控视频中的帧序列；[0090]特征提取模块，其被配置为：由距帧序列中的中间帧最远的帧开始，向中间帧逐级利用光流法进行运动估计，得到光流，并将每一帧对应的图像、光流与相邻帧的初步特征输入到卷积神经网络中进行初步特征提取，将中间帧对应的初步特征作为综合特征；[0091]重建模块，其被配置为：将综合特征输入到残差网络，并将经过残差网络提取的特征与综合特征经过加法运算后，输入到反卷积网络中，得到超分辨重建图像。[0092]此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。[0093]实施例三[0094]本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于卷积神经网络的变电站监控视频超分辨方法中的步骤。[0095]实施例四[0096]本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于卷积神经网络的变电站监控视频超分辨方法中的步骤。[0097]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。[0098]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0099]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0100]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0101]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。[0102]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!