视频图像处理方法及其装置与流程

电子通信装置的制造及其应用技术1.本技术属于通信技术领域，具体涉及一种视频图像处理方法及其装置。背景技术：2.目前，通常采用递归型滤波器(infinite impulse response，iir)对视频图像进行时域降噪，即就是将上一时刻的视频图像帧进行时域滤波后的视频图像帧与当前时刻的噪声视频图像帧进行时域加权，得到当前时刻的时域滤波后的视频图像帧。3.然而，在电子设备拍摄视频图像的过程中，如果拍摄场景运动或电子设备运动，那么电子设备可能拍摄出模糊的视频图像，从而当电子设备通过iir滤波器对视频图像进行时域降噪时，在时域加权过程中会将模糊的历史视频图像帧与无模糊的当前视频图像帧进行时域加权，从而导致出现时域加权后的视频图像帧变得模糊的问题。技术实现要素：4.本技术实施例的目的是提供一种视频图像处理方法及其装置，能够解决时域加权后的视频图像帧变得模糊的问题。5.第一方面，本技术实施例提供了一种视频图像处理方法，该方法包括：获取第一图像，该第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像；采用第二图像对该第一图像进行时域降噪处理，得到第三图像，该第二图像为对该第一图像的前一帧图像进行时域降噪处理后的图像；对该第三图像进行目标处理，得到第四图像；其中，若该第一图像为目标时刻采集的图像，则该目标处理包括去模糊处理和空域降噪处理；或者，若该第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则该目标处理包括空域降噪处理。6.第二方面，本技术实施例提供了一种视频图像处理装置，该视频图像处理装置包括获取模块和处理模块。获取模块，用于获取第一图像，该第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像。处理模块，用于采用第二图像对获取模块获取的该第一图像进行时域降噪处理，得到第三图像，该第二图像为对该第一图像的前一帧图像进行时域降噪处理后的图像。处理模块，还用于对该第三图像进行目标处理，得到第四图像；其中，若该第一图像为目标时刻采集的图像，则该目标处理包括去模糊处理和空域降噪处理；或者，若该第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则该目标处理包括空域降噪处理。7.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。8.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。9.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。10.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。11.在本技术实施例中，获取第一图像，该第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像；采用第二图像对该第一图像进行时域降噪处理，得到第三图像，该第二图像为对该第一图像的前一帧图像进行时域降噪处理后的图像；对该第三图像进行目标处理，得到第四图像；其中，若该第一图像为目标时刻采集的图像，则该目标处理包括去模糊处理和空域降噪处理；或者，若该第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则该目标处理包括空域降噪处理。通过该方案，在获取第一图像之后，一种方式，在第一图像为某个时刻采集的第一图像的情况下，在采用对前一帧图像进行时域降噪处理后的第二图像对该第一图像进行时域降噪处理，得到第三图像之后，由于可以对该第三图像进行去模糊处理，因此提高了去模糊后得到的第四图像的清晰度，从而既避免了出现时域加权后视频帧图像变得模糊的问题，也避免了因历史图像帧模糊引起的当前视频图像帧模糊的问题；另一种方式，在第一图像为对某一时刻采集的图像进行去模糊处理后的图像的情况下，由于该第一图像为去模糊后的图像，因此在采用第二图像对该第一图像进行时域降噪处理后，得到的第三图像不会出现因图像模糊导致的模糊累积问题，从而提高了第三图像的清晰度。如此，采用本技术实施例提供的视频图像处理方法，可以避免出现时域加权后的视频图像帧变得模糊的问题，进而提高了处理后的视频图像的清晰度。附图说明12.图1为本技术实施例提供的一种视频图像处理流程的示意图；13.图2为本技术实施例提供的一种视频图像处理方法的示意图；14.图3为本技术实施例提供的一种视频图像处理的示意图之一；15.图4为本技术实施例提供的一种视频图像处理的示意图之二；16.图5为本技术实施例提供的一种视频图像处理的示意图之三；17.图6为本技术实施例提供的一种视频图像处理的示意图之四；18.图7为本技术实施例提供的一种视频图像处理的示意图之五；19.图8为本技术实施例提供的视频图像处理装置的结构示意图；20.图9为本技术实施例提供的电子设备的结构示意图；21.图10为本技术实施例提供的服务器的硬件示意图。具体实施方式22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。23.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。24.下面对本技术实施例中涉及的一些术语/名词进行解释说明。25.空间视角：也称拍摄视角，即为图像传感器采集一个图像时的视角。在本技术实施例中，对第二图像进行空间配准后，得到的第五图像的空间视角和第一图像的空间视角相同，从而消除了在拍摄运动场景中相邻两帧图像的空间偏移矢量。26.相关技术中，由于拍摄时场景运动或设备运动，因此视频图像会出现图像模糊的问题，尤其是在使用手机等移动终端设备拍摄视频的场景中。因此，视频降噪的递归滤波器存在在时域加权过程中将模糊的历史帧与无模糊的当前帧图像进行加权，从而导致当前帧模糊的问题。然而，对于图像去模糊和视频降噪问题，通常是视为两个问题分别进行处理，从而无法解决视频降噪中因历史帧图像模糊引起的当前帧图像滤波结果模糊问题。27.基于上述技术问题，本技术实施例提供了一种视频图像处理方法，在获取第一图像之后；可以采用第二图像对该第一图像进行时域降噪处理，得到第三图像；并在该第一图像为目标时刻采集的图像的情况下，则对该第三图像去模糊处理和空域降噪处理，或者，在该第一图像为对目标时刻采集的图像进行去模糊处理后的图像的情况下，对该第三图像进行空域降噪处理，以得到第四图像。如此，得到的第四图像为去模糊后的图像，从而避免了出现时域加权后的视频图像帧变得模糊的问题，进而提高了处理后的视频图像的清晰度。28.对于上述的视频图像处理方法，本技术实施例提供的视频图像处理方法还可以应用于电子设备中配置的联合图像去模糊的视频时域降噪系统，从而电子设备可以通过该视频时域降噪系统，执行视频图像处理方法对视频图像进行处理。29.具体地，该视频时域降噪系统包含空间配准模块11，图像去模糊模块12，时域降噪模块13，空域降噪模块14。其中，空间配准模块11、时域降噪模块13和空域降噪模块14共同为视频降噪模块，图像去模糊模块12为嵌入视频降噪模块中的模块；空间配准模块11用于对历史帧图像向当前帧图像进行空间配准，输出经空间配准后的历史帧图像与相应空间位移矢量；图像去模糊模块12包含位移矢量转换模块21，逆滤波模块22。该视频时域降噪系统可以包括如图1中的(a)和如图1中的(b)所示的两种视频图像处理流程方式。30.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的视频图像处理方法及其装置进行详细地说明。31.如图2所示，本技术实施例提供一种视频图像处理方法，该方法包括下述s101至s103。该方法应用于电子设备。32.s101、视频图像处理装置获取第一图像。33.其中，上述第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像。34.可选地，本技术实施例提供的视频图像处理方法可以应用于实时拍摄视频的场景中，或对拍摄完成的视频进行视频图像的处理的场景中。35.可选地，上述目标时刻可以为任意时刻。例如，该目标时刻为当前时刻。36.可选地，上述第一图像可以包括以下任一项：拍摄运动场景的视频图像，用户在运动过程中拍摄的视频图像，处于运动状态的电子设备拍摄的视频图像，在拍摄视频过程中因其他干扰而导致出现图像模糊的视频图像等。37.可选地，在上述第一图像为目标时刻采集的图像的情况下，第一图像可以为通过摄像头采集的图像，即此时第一图像为噪声图像。该噪声图像可以是从未加工的原始raw域、rgb域或者yuv域等任意图像处理(image signal processor，isp)阶段中的任意位置获取的图像。38.可选地，上述第一图像为对所述目标时刻采集的图像进行去模糊处理后的图像；上述s101可以具体通过s101a实现。39.s101a、视频图像处理装置基于第一位移矢量图像和第二位移矢量图像，对目标时刻采集的图像进行去模糊处理，得到第一图像。40.其中，上述第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为该第一图像和该前一帧图像在垂直方向的空间位置偏移矢量。41.可选地，由空间配准模块11对第一图像和前一帧图像进行空间位移估计，输出第一图像和前一帧图像在水平方向的空间位置偏移矢量，即第一位移矢量图像，并输出该第一图像和该前一帧图像在垂直方向的空间位置偏移矢量，即第二位移矢量图像。42.具体地，首先将第一图像和前一帧图像分别分割为大小相同的m×n块，1≤m≤h,1≤n≤w，其中h、w分别为图像第一图像的高和宽。使用灰度投影算法分别计算第二图像与第一图像中对应位置的图像块的水平方向的空间位置偏移矢量，即第一位移矢量图像(记为vxi,j)，和垂直方向的空间位置偏移矢量，即第二位移矢量图像(记为vyi,j)。43.示例性地，以m＝n＝2为例。如图3所示，图3中的(a)为第一图像,图3中的(b)为前一帧图像，使用灰度投影算法计算过程包括：44.(1)通过公式(1)计算图像块bt0在水平(记为x)方向和垂直(记为y)方向上的像素值累积值：[0045][0046](2)计算图像块bt1在x方向和y方向上的像素值累积值。bt1的像素累积计算方式与上述bt0的像素累积计算方式相同。[0047](3)然后，如图4中的(a)和图4中的(b)所示，分别计算x方向和y方向上不同偏移量下的绝对差值和(sad)δx,δy。[0048]具体地，如图5所示，通过公式(2)计算x方向上不同偏移量下的绝对差值和：δx。其中，l∈(2，n-1)。[0049][0050]需要说明的是，y方向上不同偏移量下的绝对差值和δy与上述计算δx的方式相同。最后，取δx,δy中最小值的序号为实际偏移矢量vx，vy，即通过公式(3)计算vx，vy：[0051][0052]可选地，可以使用块匹配算法对第一图像和前一帧图像进行矢量估计。其中，块匹配算法可参考非局部均值算法(non local means)，遍历所搜窗内所有图像块的sad值，取最小值处的序号为实际空间偏移矢量vx，vy。[0053]可选地，还可以使用光流法、手机陀螺仪或其它可探测运动矢量的模块提供的结果作为实际空间偏移矢量vx，vy。[0054]可选地，上述s101a可以具体包括s101a1至s101a3。[0055]s101a1、视频图像处理装置基于第一位移矢量图像和第二位移矢量图像，确定模糊核。[0056]示例性地，如图6所示，由位移矢量转换模块21，根据第一位移矢量图像vx和第二位移矢量图像vy计算模糊核(也可称为模糊核函数)hi,j。具体可以包括如下步骤：[0057](1)首先，通过公式(4)将位移矢量换算为实际曝光时间内的位移：[0058][0059]其中，te为图像曝光时间，tf为连续两帧图像曝光间隔。[0060](2)然后，根据预设精度γ对矢量进行离散化。本技术实施例中离散化精度γ为16，将矢量除以离散化精度得到向量，具体通过公式(5)计算：[0061][0062](3)最后，统计模糊核函数对应区域内的离散向量个数，归一化后得到模糊核函数hi,j，具体通过公式(6)计算：[0063][0064]其中，r＝(d+1)/2为模糊核半径，本实施方案中模糊核函数尺寸d为7×7。函数num(·)为取个数函数，当满足条件时返回1，否则等于0。[0065]s101a2、视频图像处理装置基于该模糊核，确定第二去模糊算法。[0066]可选地，上述第二去模糊算法是基于模糊核选择的去模糊算法。[0067]可选地，上述第二去模糊算法可以为维纳滤波去卷积算法。当然，第二去模糊算法还可以为其它任何基于模糊核(或点扩散函数)的去模糊算法，本技术实施例对此不作限定。[0068]示例性地，以第二去模糊算法为维纳滤波去卷积算法为例，具体为公式(7)：[0069][0070]其中，ε为信噪比参数，fft(·)为快速离散傅里叶变换，ifft(·)为快速离散傅里叶变换反变换。[0071]需要说明的是，快速离散傅里叶变换和快速离散傅里叶变换反变换为公知算法，具体可以参照相关技术，本技术实施例在此不作详细描述。[0072]s101a3、视频图像处理装置采用该第二去模糊算法，对目标时刻采集的图像进行去模糊处理，得到第一图像。[0073]可选地，上述s101a3具体包括：逆滤波模块22采用该第二去模糊算法，对目标时刻采集的图像进行去模糊处理，得到第一图像。[0074]示例性的，以第二去模糊算法为维纳滤波去卷积算法为例。结合上述实施例中的示例性说明，如图7中的左图所示，目标时刻采集的图像包括4个图像区域，每个图像区域使用同一个模糊核，即各个图像区域采用不同的模糊核。进一步地，在得到各个图像区域的模糊核之后，确定与各个图像区域对应的第二去模糊算法，从而如图7中的右图所示，采用不同的第二去模糊算法，对各个图像区域进行去模糊处理。之后，将去模糊后的各个图像区域进行拼接，得到去模糊后的图像，即第一图像。[0075]在本技术实施例中，基于第一位移矢量图像和第二位移矢量图像，对第一图像进行去模糊处理，从而解决了视频递归滤波过程中因图像运动模糊导致的模糊累积。[0076]进一步地，由于联合图像去模糊与视频图像降噪，仅计算一次运动矢量，因而省去了图像去模糊中模糊核估计时的运动估计，有效降低了计算量。[0077]s102、视频图像处理装置采用第二图像对第一图像进行时域降噪处理，得到第三图像。[0078]其中，上述第二图像为对第一图像的前一帧图像进行时域降噪处理后的图像。[0079]可选地，上述前一帧图像为在与目标时刻相邻的上一时刻采集的图像，该前一帧图像可以通过摄像头采集得到，即该前一帧图像为噪声图像。同样，该噪声图像可以是从未加工的原始raw域、rgb域或者yuv域等任意图像处理(image signal processor，isp)阶段中的任意位置获取的图像。[0080]可选地，上述第二图像为通过时域降噪模块对前一帧图像进行时域降噪后的图像。具体可以参照相关技术中的描述，本技术实施例对此不作限定。[0081]可选地，上述s102具体包括：通过时域降噪模块13，对第一图像和第二图像进行时域递归加权，得到第三图像。[0082]具体地，首先可以计算第一图像与第二图像的第一空间相似度图；然后根据第一空间相似度图，对第一图像与第二图像进行加权，得到第三图像。[0083]s103、视频图像处理装置对该第三图像进行目标处理，得到第四图像。[0084]其中，若第一图像为目标时刻采集的图像，则目标处理包括去模糊处理和空域降噪处理；或者，若第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则目标处理包括空域降噪处理。[0085]示例性地，以视频图像处理装置为手机为例。假设手机在t1时刻采集到第一图像，并在t0时刻采集到前一帧图像。手机可以采用对该前一帧图像进行时域降噪处理后的第二图像，对第一图像进行时域加权，得到第三图像；接着，手机再对该第三图像进行去模糊处理，并对去模糊处理后的图像进行空域降噪处理，得到第四图像。如此，由于该第三图像进行了去模糊处理，因此使得第四图像不会出现图像模糊现象，从而提高了视频图像的清晰度。[0086]本技术实施例提供一种视频图像处理方法，在获取第一图像之后，一种方式，在第一图像为某个时刻采集的第一图像的情况下，在采用对前一帧图像进行时域降噪处理后的第二图像对该第一图像进行时域降噪处理，得到第三图像之后，由于可以对该第三图像进行去模糊处理，因此提高了去模糊后得到的第四图像的清晰度，从而既避免了出现时域加权后视频帧图像变得模糊的问题，也避免了因历史图像帧模糊引起的当前视频图像帧模糊的问题；另一种方式，在第一图像为对某个时刻采集的图像进行去模糊处理后的图像的情况下，由于该第一图像为去模糊后的图像，因此在采用第二图像对该第一图像进行时域降噪处理后，得到的第三图像不会出现因图像模糊导致的模糊累积问题，从而提高了第三图像的清晰度。如此，采用本技术实施例提供的视频图像处理方法，可以避免出现时域加权后的视频图像帧变得模糊的问题，进而提高了处理后的视频图像的清晰度。[0087]可选地，上述s102之前，本技术实施例提供的视频图像处理方法还可以包括下述s104；相应地，上述s102可以具体通过下述s102a实现。[0088]s104、视频图像处理装置基于第一图像，对第二图像进行空间配准，得到第五图像。[0089]可选地，上述s104可以具体通过下述s104a实现。[0090]s104a、视频图像处理装置基于第一位移矢量图像和第二位移矢量图像，对第二图像的像素值进行空间移动，得到第五图像。[0091]其中，上述第五图像的空间视角与第一图像的空间视角相同。第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为该第一图像和该前一帧图像在垂直方向的空间位置偏移矢量。[0092]可选地，在本技术实施例中，采用双线性插值对第一位移矢量图像vx和第二位移矢量图像vy进行图像放大，放大后的vx，vy的图像尺寸与第一图像的图像尺寸相同。[0093]可选地，上述双线性插值算法为公知算法，具体可以参照相关技术，本技术实施例在此不做详细描述。[0094]具体地，上述s104a具体包括：基于第一位移矢量图像和第二位移矢量图像，确定与第二图像的每一个像素点对应的偏移矢量，该偏移矢量包括水平方向上的偏移矢量和垂直方向上的偏移矢量；根据该偏移矢量，将第二图像的像素值按照水平方向和垂直方向进行移动，得到第五图像。[0095]可选地，可以采用双三次插值算法对第二图像进行空间移动。[0096]示例性的，假设第二图像的像素值为(x0，y0)。基于第一位移矢量图像和第二位移矢量图像，对(x0，y0)进行空间移动后，得到新的像素值(x1，y1)。[0097]在本技术实施例中，可以基于第一位移矢量图像和第二位移矢量图像，对第二图像的像素值进行空间移动，得到第五图像，从而为采用空间配准后的第五图像对第一图像进行时域降噪处理做准备。[0098]s102a、视频图像处理装置采用第五图像对第一图像进行时域降噪处理，得到第三图像。[0099]可选地，s102a具体包括：首先可以计算第一图像与第五图像的第二空间相似度图；然后根据第二空间相似度图，对第一图像与第二图像进行加权，得到第三图像。[0100]可选地，在第一图像为目标时刻采集的图像的情况下，第二空间相似度图为目标时刻采集的图像与第五图像的相似度图；在第一图像为对目标时刻采集的图像进行去模糊后的图像的情况下，第二空间相似度图为去模糊后的图像与第五图像的相似度图。[0101]示例性地，对于上述s102a的具体实现方式，可以包括如下两个步骤：[0102](1)首先通过公式(8)计算第五图像与第一图像的第二空间相似度图a∈[0，1]。本技术实施例中采用像素值差值的低通滤波结果值作为相似度依据：[0103][0104]其中，clip(·,0,1)为数值约束函数，用于将数值a限制在[0,1]内。ω为归一化系数。flowpass(·)为低通滤波函数。[0105]可选地，上述实施例中的滤波方式采用均值滤波，均值滤波属于公知算法，对均值滤波的详细描述可以参照相关技术，本技术实施例在此不予赘述。[0106]可选地，低通滤波函数flowpass(·)可以是高斯滤波函数、阈值滤波函数或其他任意空域低通滤波函数。[0107]需要说明的是，空间相似度图(记为a)各像素值越接近1，表明第五图像和第一图像在某个图像区域越相似；反之，表明第五图像和第一图像在该图像区域越不同。[0108](2)根据空间相似度图对第五图像与第一图像进行加权，得到第三图像具体如下公式(9)：[0109][0110]在本技术实施例中，由于可以基于第一位移矢量图像和第二位移矢量图像，对第二图像的像素值进行空间移动，得到第五图像，因此可以使用空间配准后的第五图像对第一图像进行时域降噪处理，从而解决了视频iir滤波过程中因图像运动导致的图像模糊问题。[0111]可选地，上述第一图像为目标时刻采集的图像，目标处理包括去模糊处理和空域降噪处理；上述s103可以具体包括下述s103a和s103b。[0112]s103a、视频图像处理装置对第三图像进行去模糊处理，得到第六图像。[0113]可选地，上述第三图像可以为采用第二图像对第一图像进行时域处理后得到的图像，或为采用第五图像对第一图像进行时域降噪处理后得到的图像。[0114]可选地，上述s103a可以具体通过s103a实现。[0115]s103a、视频图像处理装置基于第一位移矢量图像、第二位移矢量图像和空间相似度图，对第三图像进行去模糊处理，得到第六图像。[0116]其中，上述空间相似度图用于指示第一图像和第五图像之间的空间相似度，该第五图像为对第二图像基于第一图像进行空间配准后的图像。第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为所述第一图像和所述前一帧图像在垂直方向的空间位置偏移矢量。[0117]可选地，上述基于第一图像对第二图像进行空间配准的具体实现方式，可以参照上述实施例中的详细描述，本技术实施例对此不再赘述。[0118]可选地，通过空间配准模块11对第一图像和前一帧图像进行空间位移估计，得到第一位移矢量图像和第二位移矢量图像。进一步地，对于第一位移矢量图像和第二位移矢量图像的详细描述，可以参照上述实施例中对第一位移矢量图像和第二位移矢量图像的具体示例性说明，本技术实施例对此不再赘述。[0119]可选地，上述s103a可以具体通过s103a1至s103a3实现。[0120]s103a1、视频图像处理装置基于第一位移矢量图像和第二位移矢量图像，确定模糊核。[0121]可选地，对于基于第一位移矢量图像和第二位移矢量图像确定模糊核的详细描述，可以参照上述实施例中的相关描述，本技术实施例对此不再赘述。[0122]s103a2、视频图像处理装置基于该模糊核和空间相似度图，确定第一去模糊算法。[0123]可选地，上述第一去模糊算法是基于模糊核和空间相似度图选择的去模糊算法。进一步地，第一去模糊算法与第二去模糊算法不同。[0124]可选地，上述第一去模糊算法可以为维纳滤波去卷积算法。当然，第一去模糊算法还可以为其它任何基于模糊核(或点扩散函数)的去模糊算法，本技术实施例对此不作限定。[0125]示例性地，以第一去模糊算法为维纳滤波去卷积算法为例，具体为公式(10)：[0126][0127]其中，ε为信噪比参数，ai,j为空间相似度图的均值。fft(·)为快速离散傅里叶变换，ifft(·)为快速离散傅里叶变换反变换。[0128]s103a3、视频图像处理装置采用第一去模糊算法，对第三图像进行去模糊处理，得到第六图像。[0129]在本技术实施例中，在采用第二图像对第一图像进行时域降噪处理，得到第三图像之后，可以对该第三图像进行去模糊处理，得到第六图像，从而可以利用时域加权强度辅助图像去模糊，从而提升了对图像噪声的鲁棒性，防止去模糊时因噪声产生的瑕疵。[0130]s103b、视频图像处理装置对该第六图像进行空域降噪处理，得到第四图像。[0131]可选地，上述s103b具体包括：空域降噪模块14根据第二空间相似度图，对第六图像进行空域降噪，得到第四图像。其中，该第二空间相似度图用于指示第五图像与第一图像之间的空间相似度。[0132]可选地，对于得到第二空间相似度图的具体方式，可以参照上述实施例中的具体说明，本技术实施例对此不再赘述。[0133]具体地，根据第二相似度图，确定空域降噪算法；并采用该空域降噪算法，对该第六图像进行空域降噪处理，得到第四图像。[0134]示例性的，以第二相似度图为a、空域降噪算法为双边滤波为例。采用双边滤波对第六图像(记为)进行空域降噪处理，具体通过如下公式(11)计算：[0135][0136]其中，δd和δs分别为降噪强度控制参数。[0137]可选地，上述空域降噪算法还可以为神经网络降噪算法，或其它任意空域降噪算法，例如bm3d、nlm算法等。[0138]在本技术实施例中，可以对第三图像进行去模糊处理，得到第六图像视频，并对该第六图像进行空域降噪处理，得到第四图像，从而能够对图像去模糊过程中可能产生的振铃等图像瑕疵进行约束与去除。[0139]本技术实施例提供的视频图像处理方法，执行主体可以为视频图像处理装置。本技术实施例中以视频图像处理装置执行视频图像处理方法为例，说明本技术实施例提供的视频图像处理的装置。[0140]如图8所示，本技术实施例提供一种视频图像处理装置200，该视频图像处理装置包括获取模块201和处理模块202。获取模块201，可以用于获取第一图像，所述第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像。处理模块202，可以用于采用第二图像对获取模块201获取的所述第一图像进行时域降噪处理，得到第三图像，第二图像为对第一图像的前一帧图像进行时域降噪处理后的图像。处理模块202，还可以用于对第三图像进行目标处理，得到第四图像；其中，若第一图像为目标时刻采集的图像，则目标处理包括去模糊处理和空域降噪处理；或者，若第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则目标处理包括空域降噪处理。[0141]可选地，处理模块，还可以用于基于第一图像，对第二图像进行空间配准，得到第五图像。处理模块，可以具体用于采用第五图像对第一图像进行时域降噪处理，得到第三图像。[0142]可选地，处理模块，可以具体用于基于第一位移矢量图像和第二位移矢量图像，对第二图像的像素值进行空间移动，得到第五图像；其中，该第五图像的空间视角与第一图像的空间视角相同，第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0143]可选地，第一图像为目标时刻采集的图像，目标处理包括去模糊处理和空域降噪处理。处理模块，可以具体用于对第三图像进行去模糊处理，得到第六图像；并对该第六图像进行空域降噪处理，得到第四图像。[0144]可选地，处理模块，可以具体用于基于第一位移矢量图像、第二位移矢量图像和空间相似度图，对第三图像进行去模糊处理，得到第六图像；其中，该空间相似度图用于指示第一图像和第五图像之间的空间相似度，该第五图像为对第二图像基于第一图像进行空间配准后的图像，该第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，该第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0145]可选地，视频图像处理装置还包括确定模块。确定模块，可以用于基于第一位移矢量图像和第二位移矢量图像，确定模糊核；并基于模糊核和空间相似度图，确定第一去模糊算法。处理模块，可以具体用于采用第一去模糊算法，对第三图像进行去模糊处理，得到第六图像。[0146]可选地，第一图像为对目标时刻采集的图像进行去模糊处理后的图像。获取模块，可以具体用于基于第一位移矢量图像和第二位移矢量图像，对目标时刻采集的图像进行去模糊处理，得到第一图像；其中，第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0147]可选地，获取模块，可以具体用于基于第一位移矢量图像和第二位移矢量图像，确定模糊核；并基于模糊核，确定第二去模糊算法；以及采用第二去模糊算法，对目标时刻采集的图像进行去模糊处理，得到第一图像。[0148]本技术实施例提供一种视频图像处理装置，在获取第一图像之后，一种方式，在第一图像为某个时刻采集的第一图像的情况下，在采用对前一帧图像进行时域降噪处理后的第二图像对该第一图像进行时域降噪处理，得到第三图像之后，由于可以对该第三图像进行去模糊处理，因此提高了去模糊后得到的第四图像的清晰度，从而既避免了出现时域加权后视频帧图像变得模糊的问题，也避免了因历史图像帧模糊引起的当前视频图像帧模糊的问题；另一种方式，在第一图像为对某个时刻采集的图像进行去模糊处理后的图像的情况下，由于该第一图像为去模糊后的图像，因此在采用第二图像对该第一图像进行时域降噪处理后，得到的第三图像不会出现因图像模糊导致的模糊累积问题，从而提高了第三图像的清晰度。如此，采用本技术实施例提供的视频图像处理方法，可以避免出现时域加权后的视频图像帧变得模糊的问题，进而提高了处理后的视频图像的清晰度。[0149]本技术实施例中的视频图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。[0150]本技术实施例中的视频图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。[0151]本技术实施例提供的视频图像处理装置能够实现图1至图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。[0152]可选地，如图9所示，本技术实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述视频图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。[0153]需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。[0154]图10为实现本技术实施例的一种电子设备的硬件结构示意图。[0155]该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。[0156]本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。[0157]其中，处理器410，用于获取第一图像，所述第一图像为目标时刻采集的图像，或者为对目标时刻采集的图像进行去模糊处理后的图像；并用于采用第二图像对获取模块获取的所述第一图像进行时域降噪处理，得到第三图像，第二图像为对第一图像的前一帧图像进行时域降噪处理后的图像；以及用于对第三图像进行目标处理，得到第四图像；其中，若第一图像为目标时刻采集的图像，则目标处理包括去模糊处理和空域降噪处理；或者，若第一图像为对目标时刻采集的图像进行去模糊处理后的图像，则目标处理包括空域降噪处理。[0158]可选地，处理器410，还用于基于第一图像，对第二图像进行空间配准，得到第五图像；并用于采用第五图像对第一图像进行时域降噪处理，得到第三图像。[0159]可选地，处理器410，具体用于基于第一位移矢量图像和第二位移矢量图像，对第二图像的像素值进行空间移动，得到第五图像，第五图像的空间视角与第一图像的空间视角相同；其中，第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0160]可选地，第一图像为目标时刻采集的图像，目标处理包括去模糊处理和空域降噪处理。处理器410，具体用于对第三图像进行去模糊处理，得到第六图像；并对第六图像进行空域降噪处理，得到第四图像。[0161]可选地，处理器410，具体用于基于第一位移矢量图像、第二位移矢量图像和空间相似度图，对第三图像进行去模糊处理，得到第六图像，该空间相似度图用于指示第一图像和第五图像之间的空间相似度，该第五图像为对第二图像基于第一图像进行空间配准后的图像；其中，该第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，该第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0162]可选地，处理器410，用于基于第一位移矢量图像和第二位移矢量图像，确定模糊核；并基于模糊核和空间相似度图，确定第一去模糊算法；以及用于采用第一去模糊算法，对第三图像进行去模糊处理，得到第六图像。[0163]可选地，第一图像为对目标时刻采集的图像进行去模糊处理后的图像。处理器410，具体用于基于第一位移矢量图像和第二位移矢量图像，对目标时刻采集的图像进行去模糊处理，得到第一图像；其中，第一位移矢量图像为第一图像和前一帧图像在水平方向的空间位置偏移矢量，第二位移矢量图像为第一图像和前一帧图像在垂直方向的空间位置偏移矢量。[0164]可选地，处理器410，具体用于基于第一位移矢量图像和第二位移矢量图像，确定模糊核；并基于模糊核，确定第二去模糊算法；以及采用第二去模糊算法，对目标时刻采集的图像进行去模糊处理，得到第一图像。[0165]本技术实施例提供一种电子设备，在获取第一图像之后，一种方式，在第一图像为某个时刻采集的第一图像的情况下，在采用对前一帧图像进行时域降噪处理后的第二图像对该第一图像进行时域降噪处理，得到第三图像之后，由于可以对该第三图像进行去模糊处理，因此提高了去模糊后得到的第四图像的清晰度，从而既避免了出现时域加权后视频帧图像变得模糊的问题，也避免了因历史图像帧模糊引起的当前视频图像帧模糊的问题；另一种方式，在第一图像为对某个时刻采集的图像进行去模糊处理后的图像的情况下，由于该第一图像为去模糊后的图像，因此在采用第二图像对该第一图像进行时域降噪处理后，得到的第三图像不会出现因图像模糊导致的模糊累积问题，从而提高了第三图像的清晰度。如此，采用本技术实施例提供的视频图像处理方法，可以避免出现时域加权后的视频图像帧变得模糊的问题，进而提高了处理后的视频图像的清晰度。[0166]应理解的是，本技术实施例中，输入单元404可以包括图形处理器(graphics processing unit，gpu)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。[0167]存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器409可以包括易失性存储器或非易失性存储器，或者，存储器409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。[0168]处理器410可包括一个或多个处理单元；可选的，处理器410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。[0169]本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0170]其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。[0171]本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0172]应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。[0173]本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视频图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。[0174]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。[0175]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。[0176]上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!