一种视频去噪方法、视频处理方法和装置与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像处理领域，尤其涉及一种视频去噪方法、视频处理方法和装置。背景技术：：2.计算摄影中对视频去噪对于视频成像质量至关重要。终端设备的拍照成像受限于终端设备光学传感器的硬件性能，由于采集过程的不完善，数字图像的形成总是受到不同形式的噪声和退化的影响，必须使用图像复原算法，将退化后的输入还原为高质量的输入。图像复原算法如去噪、去马赛克、超分辨率等。3.对于视频去噪，通常可以通过循环递归的方式处理视频信息的时空融合，但去噪质量较低。因此，如何提高视频去噪质量，成为亟待解决的问题。技术实现要素：4.本技术提供一种视频去噪方法、视频处理方法和装置，用于在实现轻量化去噪的同时，提高去噪效果，得到更清晰的图像，进而得到画质更优的视频数据。5.有鉴于此，第一方面，本技术提供一种视频去噪方法，包括：首先，获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，即当前帧为视频数据中的非第一帧，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；随后，根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，第一融合权重和第二融合权重可以按照前景和背景来设定，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像；对第二融合图像进行去噪，得到去噪图像。6.因此，本技术实施方式中，通过融合当前帧和第一融合图像，相当于结合了场景中相邻帧之间的时域相关的信息，对当前帧中的噪声进行了平滑，减少了图像中的噪声，得到了噪声更小的第二融合图像。相当于利用视频中图像之间在时域中的关联性，平滑每一帧图像中的噪声，提高了对视频数据中每一帧的去噪效果，还避免了鬼影，从而得到画质更优的视频数据，提高了用户体验。7.在一种可能的实施方式中，在对第二融合图像进行去噪之后，方法还包括：融合二融合图像和去噪图像，得到更新后的去噪图像。8.在对图像进行去噪时，可能出现过度平滑的现象，此时，相比于去噪图像，第二融合图像中有更多细节，从而融合第二融合图像中所包括的细节和去噪图像，得到细节更丰富的图像，提高图像质量。9.在一种可能的实施方式中，融合二融合图像和去噪图像，包括：从第二融合图像中提取特征，得到第三特征；从去噪图像中提取特征，得到第四特征；根据第三特征和第四特征确定第三融合权重和第四融合权重，第三融合权重为第三特征对应的权重，第四融合权重为第四特征对应的权重，其中，第三特征和第四特征中，每个像素点的频率和对应的权重值呈负相关关系；根据第三融合权重和第四融合权重，融合第三特征和第四特征，得到更新后的去噪图像。10.通常，高频中所包括的噪声多与低频所包括的噪声，本实施例中，像素点的频率和对应的权重值呈负相关关系，即意味着像素点的频率值越高，其对应的权重将越低，从而降低高频分量中所携带的噪声，得到去噪后的图像。11.在一种可能的实施方式中，在从当前帧中提取特征以及从第一融合图像中提取特征之前，上述方法还可以包括：通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到。12.前述的从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征，可以包括：从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。13.因此，本技术实施方式中，还对当前帧进行了去颜色处理，相当于去颜色操作，减少了颜色通道之间的关联，降低了后续的去噪复杂度，提高去噪效率和效果，得到画质更优的图像。14.在一种可能的实施方式中，在对第二融合图像进行去噪之后，上述方法还可以包括：通过逆颜色变换矩阵，对去噪图像进行颜色变换，得到更新后的去噪图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。15.本技术实施方式中，在去噪之前若进行了去颜色相关变换之后，还可以进行逆颜色变换，从而恢复图像中的颜色，得到具有颜色的图像。16.在一种可能的实施方式中，在从当前帧中提取特征以及从第一融合图像中提取特征之前，方法还包括：使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。17.小波变换可以理解为在频率的维度对图像的像素点进行去相关变换，通常，基于频率的表示将图像的有效部分和噪声分离成不同的频率分量，使去噪更为简单。相当于将像素点的频率进行离散分布，以便于后续实现更优的去噪效果。18.在一种可能的实施方式中，在对第二融合图像进行去噪之后，上述方法还可以包括：通过逆小波系数，对去噪图像进行逆小波变换，得到更新后的去噪图像，逆小波系数是小波系数的逆矩阵。从而使逆小波变化可以准确地对高频分量和低频分量进行恢复，得到更清晰的去噪图像。19.在一种可能的实施方式中，上述根据第一特征和第二特征确定当前帧对应的第一融合权重，可以包括：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声，第一特征和第二特征确定当前帧对应的第一融合权重。20.相当于在计算第一融合权重时还结合了噪声水平，从而适应不同的噪声水平的场景，在不同噪声水平下都能进行准确去噪，泛化能力强。21.在一种可能的实施方式中，上述的结合散粒噪声、读取噪声，第一特征和第二特征确定当前帧对应的第一融合权重，具体可以包括：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。该噪声方差可以用于准确地确定出当前帧的噪声水平，以便于后续可以进行准确的去噪，提高去噪效果。22.在一种可能的实施方式中，对第二融合图像进行去噪，可以包括：结合第一融合权重、第二融合权重、第一融合图像和当前帧，对第二融合图像进行去噪，得到去噪图像。23.因此，在本技术实施方式中，可以结合第一融合权重、第二融合权重、第一融合图像和当前帧对第二融合图像进行去噪，相当于为去噪提供了更多参考信息，提高去噪效果，且计算出的数据可以重复利用率，提高各个步骤产生的数据的有效利用率。24.在一种可能的实施方式中，上述的结合第一融合权重、第二融合权重、第一融合图像和当前帧对第二融合图像进行去噪，具体可以包括：结合第一融合权重、第二融合权重、第一融合图像和当前帧，计算出第二融合图像中每个像素点的方差，得到融合图方差；然后将融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像。25.在对视频数据的去噪处理过程中，融合图方差随着去噪的帧数的增加而减小，即表示融合图像中的噪声也越来越小，最终得到的去噪图像中的噪声也越来越少，从而得到噪声更少、画质更优的图像。26.在一种可能的实施方式中，上述的将融合图方差和第二融合图像作为去噪模型的输入，可以包括：将当前帧、融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像，去噪模型用于去除输入的图像中的噪声。27.本实施例中，可以将融合图方差作为去噪模型的输入，从而使去噪模型可以通过融合图方差确定噪声水平，实现更好的去噪效果，得到画质更优的去噪图像。28.在一种可能的实施方式中，上述的方法还可以包括：对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理，得到多尺度融合图像；融合去噪图像和多尺度融合图像，得到更新后的去噪图像。29.本技术实施方式中，可以对当前帧和第一融合图像进行一次或者多次下采样，并对不同尺度的下采样帧和下采样融合图像进行迭代处理，从而在不同尺度下进行去噪处理，使最终得到的去噪图像的去噪效果更好。30.在一种可能的实施方式中，对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理的过程中任意一个去噪处理过程，即其中一个尺度的去噪过程，可以包括：根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合；对第三下采样融合图像进行去噪，得到第一下采样去噪图像；对第一下采样去噪图像进行上采样，得到上采样去噪图像，上采样图像用于结合上采样图像尺度相同的融合图像进行去噪得到尺度大于第一下采样帧的图像。31.因此，在本技术实施方式中，在对每个尺度进行去噪处理的过程中，可以融合其他尺度的处理结果进行迭代去噪，可以提高去噪效果，得到噪声更少的图像。32.在一种可能的实施方式中，上述的对当前帧和第一融合图像进行至少一次下采样，可以包括：对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。33.因此，本技术实施方式中，可以通过小波变换的方式来进行下采样，同时可以使像素点的频率离散分布在频率空间中，以降低去噪难度，提高去噪效果。34.第二方面，本技术提供一种视频去噪装置，可以包括：35.获取模块，用于获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；36.时域融合模块，用于从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；37.时域融合模块，还用于根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；38.时域融合模块，还用于根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像；39.去噪模块，用于对第二融合图像进行去噪，得到去噪图像。40.在一种可能的实施方式中，视频去噪装置还可以包括：41.精细化模块，用于在对第二融合图像进行去噪之后，融合二融合图像和去噪图像，得到更新后的去噪图像。42.在一种可能的实施方式中，去噪模块，具体用于：从第二融合图像中提取特征，得到第三特征；从去噪图像中提取特征，得到第四特征；根据第三特征和第四特征确定第三融合权重和第四融合权重，第三融合权重为第三特征对应的权重，第四融合权重为第四特征对应的权重，其中，第三特征和第四特征中，每个像素点的频率和对应的权重值呈负相关关系；根据第三融合权重和第四融合权重，融合第三特征和第四特征，得到更新后的去噪图像。43.在一种可能的实施方式中，视频去噪装置还可以包括：去颜色相关变换模块，用于在从当前帧中提取特征以及从第一融合图像中提取特征之前，通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到；44.时域融合模块，具体用于从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。45.在一种可能的实施方式中，视频去噪装置还可以包括：46.逆颜色相关变换模块，用于在对第二融合图像进行去噪之后，通过逆颜色变换矩阵，对去噪图像进行颜色变换，得到更新后的去噪图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。47.在一种可能的实施方式中，视频去噪装置还可以包括：48.去频率相关变换模块，用于在时域融合模块从当前帧中提取特征以及从第一融合图像中提取特征之前，使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。49.在一种可能的实施方式中，视频去噪装置还可以包括：50.逆频率相关变换模块，用于在去噪模块对第二融合图像进行去噪之后，通过逆小波系数，对去噪图像进行逆小波变换，得到更新后的去噪图像，逆小波系数是小波系数的逆矩阵。51.在一种可能的实施方式中，时域融合模块，具体用于：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声，第一特征和第二特征确定当前帧对应的第一融合权重。52.在一种可能的实施方式中，时域融合模块，具体用于：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。53.在一种可能的实施方式中，去噪模块，具体用于：结合第一融合权重、第二融合权重、第一融合图像和当前帧，对所述第二融合图像进行去噪，得到所述去噪图像。54.在一种可能的实施方式中，去噪模块，具体用于：结合第一融合权重、第二融合权重、第一融合图像和当前帧，计算第二融合图像中每个像素点的方差，得到融合图方差；将融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像。55.在一种可能的实施方式中，去噪模块，具体用于将当前帧、融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像，去噪模型用于去除输入的图像中的噪声。56.在一种可能的实施方式中，视频去噪装置还可以包括：下采样模块；57.下采样模块，用于对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；58.去噪模块，还用于对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理，得到多尺度融合图像；59.去噪模块，还用于融合去噪图像和多尺度融合图像，得到更新后的去噪图像。60.在一种可能的实施方式中，去噪模块对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理的过程中任意一个去噪处理过程，可以包括：61.根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合；对第三下采样融合图像进行去噪，得到第一下采样去噪图像；对第一下采样去噪图像进行上采样，得到上采样去噪图像，上采样图像用于结合上采样图像尺度相同的融合图像进行去噪得到尺度大于第一下采样帧的图像。62.在一种可能的实施方式中，下采样模块，具体用于对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。63.第三方面，本技术实施例提供一种视频去噪装置，包括：处理器和存储器，其中，处理器和存储器通过线路互联，处理器调用存储器中的程序代码用于执行上述第一方面任一项所示的视频去噪方法中与处理相关的功能。可选地，该视频去噪装置可以是芯片。64.第四方面，本技术实施例提供了一种视频去噪装置，该视频去噪装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行如上述第一方面或第一方面任一可选实施方式中与处理相关的功能。65.第五方面，本技术提供一种视频处理方法，包括：首先，获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；随后从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；然后根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像。66.因此，本技术实施方式中，在融合当前帧和第一融合图像时，可以参考当前帧中的前景部分和第一融合图像中的背景部分，从而可以减少第二融合图像中的鬼影，还可以通过融合图像的方式减少当前帧中所包括的噪声，得到更清晰的图像。67.在一种可能的实施方式中，在从当前帧中提取特征以及从第一融合图像中提取特征之前，还可以通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到；上述的从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征，可以包括：从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。68.因此，本技术实施方式中，还对当前帧进行了去颜色处理，相当于去颜色操作，减少了颜色通道之间的关联，若需要进行去燥，则可以降低后续的去噪复杂度，提高去噪效率和效果，得到画质更优的图像。69.在一种可能的实施方式中，上述方法还可以包括：通过逆颜色变换矩阵，对第二融合图像进行颜色变换，得到更新后的第二融合图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。70.本技术实施方式中，若进行了去颜色相关变换之后，还可以进行逆颜色变换，从而恢复图像中的颜色，得到具有颜色的图像。71.在一种可能的实施方式中，在从当前帧中提取特征以及从第一融合图像中提取特征之前，上述方法还包括：使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。72.小波变换可以理解为在频率的维度对图像的像素点进行去相关变换，通常，基于频率的表示将图像的有效部分和噪声分离成不同的频率分量，若后续需要去燥，则可以使去噪更为简单。相当于将像素点的频率进行离散分布，以便于后续实现更优的去噪效果。73.在一种可能的实施方式中，上述方法还可以包括：通过逆小波系数，对第二融合图像进行逆小波变换，得到更新后的第二融合图像，逆小波系数是小波系数的逆矩阵。从而使逆小波变化可以准确地对高频分量和低频分量进行恢复，得到更清晰的图像。74.在一种可能的实施方式中，根据第一特征和第二特征确定当前帧对应的第一融合权重，包括：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声、第一特征和第二特征确定当前帧对应的第一融合权重。75.相当于在计算第一融合权重时还结合了噪声水平，从而适应不同的噪声水平的场景，在不同噪声水平下都能进行准确去噪，泛化能力强。76.在一种可能的实施方式中，结合散粒噪声、读取噪声，第一特征和第二特征确定当前帧对应的第一融合权重，可以包括：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。该噪声方差可以用于准确地确定出当前帧的噪声水平，若需要进行去燥，则可以便于后续可以进行准确的去噪，提高去噪效果。77.在一种可能的实施方式中，上述方法还可以包括：对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；对至少一帧下采样帧中的每一帧和相同尺度的下采样融合图像进行融合，得到多尺度融合图像；融合第二融合图像和多尺度融合图像，得到更新后的第二融合图像。78.本技术实施方式中，可以对当前帧和第一融合图像进行一次或者多次下采样，并对不同尺度的下采样帧和下采样融合图像进行迭代处理，从而可以融合得到更清晰的图像，减少图像中的噪声。79.在一种可能的实施方式中，对至少一帧下采样帧中的任意一帧和相同尺度的下采样融合图像进行融合，可以包括：根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二下采样融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合。80.因此，在本技术实施方式中，在对每个尺度进行融合的过程中，可以融合其他尺度的处理结果进行迭代融合，提高融合得到的图像质量，得到噪声更少的图像。81.在一种可能的实施方式中，对当前帧和第一融合图像进行至少一次下采样，包括：对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。因此，本技术实施方式中，可以通过小波变换的方式来进行下采样，同时可以使像素点的频率离散分布在频率空间中，实现去噪的效果。82.第六方面，本技术提供一种视频处理装置，包括：83.获取模块，用于获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；84.时域融合模块，用于从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；85.时域融合模块，还用于根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；86.时域融合模块，还用于根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像。87.在一种可能的实施方式中，上述装置还可以包括：88.去颜色相关变换模块，用于在时域融合模块从当前帧中提取特征以及从第一融合图像中提取特征之前，通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到；89.时域融合模块，具体用于从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。90.在一种可能的实施方式中，上述装置还可以包括：逆颜色相关变换模块，用于通过逆颜色变换矩阵，对第二融合图像进行颜色变换，得到更新后的第二融合图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。91.在一种可能的实施方式中，上述装置还可以包括：去频率相关变换模块，用于在时域融合模块从当前帧中提取特征以及从第一融合图像中提取特征之前，使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。92.在一种可能的实施方式中，上述装置还可以包括：逆频率相关变换模块，用于通过逆小波系数，对第二融合图像进行逆小波变换，得到更新后的第二融合图像，逆小波系数是小波系数的逆矩阵。93.在一种可能的实施方式中，时域融合模块，具体用于：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声、第一特征和第二特征确定当前帧对应的第一融合权重。94.在一种可能的实施方式中，时域融合模块，具体用于：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。95.在一种可能的实施方式中，上述装置还可以包括：下采样模块，用于对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；96.时域融合模块，还用于对至少一帧下采样帧中的每一帧和相同尺度的下采样融合图像进行融合，得到多尺度融合图像；97.时域融合模块，还用于融合第二融合图像和多尺度融合图像，得到更新后的第二融合图像。98.在一种可能的实施方式中，时域融合模块对至少一帧下采样帧中的任意一帧和相同尺度的下采样融合图像进行融合，可以包括：根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二下采样融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合。99.在一种可能的实施方式中，下采样模块，具体用于对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。100.第七方面，本技术实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面或第五方面中任一可选实施方式中的方法。101.第八方面，本技术实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第五方面中任一可选实施方式中的方法。附图说明102.图1是本技术应用的一种人工智能主体框架示意图；103.图2是本技术提供的一种卷积神经网络的结构示意图；104.图3是本技术提供的另一种卷积神经网络的结构示意图；105.图4是本技术提供的一种应用场景示意图；106.图5是本技术提供的另一种应用场景示意图；107.图6是本技术提供的一种系统架构示意图；108.图7a是本技术提供的一种视频处理方法的流程示意图；109.图7b是本技术提供的一种视频去噪方法的流程示意图；110.图8是本技术提供的另一种视频去噪方法的流程示意图；111.图9是本技术提供的一种去颜色相关变换方式的示意图；112.图10是本技术提供的一种去频率相关变换方式的示意图；113.图11是本技术提供的一种时域融合方式示意图；114.图12是本技术提供的一种去噪方式示意图；115.图13是本技术提供的一种精细化步骤示意图；116.图14是本技术提供的一种逆颜色变换方式示意图；117.图15是本技术提供的一种逆小波变换流程示意图；118.图16是本技术提供的一种多尺度处理方式示意图；119.图17是本技术提供的一种视频去噪装置的结构示意图；120.图18是本技术提供的一种视频处理装置的结构示意图；121.图19是本技术提供的另一种视频去噪装置的结构示意图；122.图20是本技术提供的一种视频处理装置的结构示意图；123.图21是本技术提供的一种芯片的结构示意图。具体实施方式124.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。125.首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“it价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“it价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。126.(1)基础设施127.基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片，如中央处理器(centralprocessingunit，cpu)、网络处理器(neural-networkprocessingunit，npu)、图形处理器(英语：graphicsprocessingunit，gpu)、专用集成电路(applicationspecificintegratedcircuit,asic)或现场可编程逻辑门阵列(fieldprogrammablegatearray，fpga)等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。128.(2)数据129.基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。130.(3)数据处理131.数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。132.其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。133.推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。134.决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。135.(4)通用能力136.对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。137.(5)智能产品及行业应用138.智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、智慧城市等。139.本技术实施例涉及了一些神经网络相关的应用，为了更好地理解本技术实施例的方案，下面先对本技术实施例可能涉及的一些神经网络的相关术语和概念进行介绍。140.本技术实施例涉及了神经网络和图像领域的相关应用，为了更好地理解本技术实施例的方案，下面先对本技术实施例可能涉及的神经网络的相关术语和概念进行介绍。141.(1)神经网络142.神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以如公式(1-1)所示：[0143][0144]其中，s＝1、2、……n，n为大于1的自然数，ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activationfunctions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。[0145](2)深度神经网络[0146]深度神经网络(deepneuralnetwork，dnn)，也称多层神经网络，可以理解为具有多层中间层的神经网络。按照不同层的位置对dnn进行划分，dnn内部的神经网络可以分为三类：输入层，中间层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是中间层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。[0147]虽然dnn看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，是输入向量，是输出向量，是偏移向量，w是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于dnn层数多，系数w和偏移向量的数量也比较多。这些参数在dnn中的定义如下所述：以系数w为例：假设在一个三层的dnn中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。[0148]综上，第l-1层的第k个神经元到第l层的第j个神经元的系数定义为[0149]需要注意的是，输入层是没有w参数的。在深度神经网络中，更多的中间层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量w形成的权重矩阵)。[0150](3)卷积神经网络[0151]卷积神经网络(convolutionalneuronnetwork，cnn)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。[0152](4)损失函数(lossfunction)：也可以称为代价函数(costfunction)，一种比较机器学习模型对样本的预测输出和样本的真实值(也可以称为监督值)区别的度量，即用于衡量机器学习模型对样本的预测输出和样本的真实值之间的区别。该损失函数通常可以包括误差平方均方、交叉熵、对数、指数等损失函数。例如，可以使用误差均方作为损失函数，定义为具体可以根据实际应用场景选择具体的损失函数。[0153](5)梯度：损失函数关于参数的导数向量。[0154](6)随机梯度：机器学习中样本数量很大，所以每次计算的损失函数都由随机采样得到的数据计算，相应的梯度称作随机梯度。[0155](7)反向传播(backpropagation，bp)：一种计算根据损失函数计算模型参数梯度、更新模型参数的算法。[0156](8)前景、背景[0157]通常，前景可以理解为图像中所包括的主体，或者需要关注的对象等，或者也可以称为实例。背景则是图像中除前景外的其他区域。例如，若拍摄到一张包括了交通信号灯的图像，则该图像中的前景(或者称为实例)则为交通信号灯所在的区域，背景即为该图像中除实例之外的区域。又例如，若车辆在行驶过程中拍摄到的道路中的图像，则图像中的其他车辆、车道线、交通灯、路障、行人等即为实例，除实例外的部分即为背景。[0158](9)r(red)、g(green)、b(blue)[0159]其中，r表示红色，g表示绿色，b表示蓝色，每个图像可以由这三个通道的颜色值来表示。如rgb图像即表示具有三个颜色通道的图像，rggb图像即表示具有四个颜色通道的图像，其中两个颜色通道为g。[0160](10)yuv[0161]yuv是一种颜色编码方法，常使用在各个视频处理组件中。使用yuv在对照片或视频编码时，考虑到用户的感知能力，允许降低色度的带宽。“y”表示明亮度(luminance或luma，也就是灰阶值，“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。[0162]示例性地，cnn是一种常用的神经网络，如本技术以下实施方式中，可以采用cnn来进行特征提取或者融合等步骤。为便于理解，下面示例性地，对卷积神经网络的结构进行介绍。[0163]cnn是一种带有卷积结构的深度神经网络。cnn是一种深度学习(deeplearning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，cnn是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。[0164]卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。[0165]卷积神经网络可以采用误差反向传播(backpropagation，bp)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。[0166]下面结合图2示例性地对cnn的结构进行详细的介绍。如上述基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deeplearning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，cnn是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。[0167]如图2所示卷积层/池化层120可以包括如示例121-126层，在一种实现中，121层为卷积层，122层为池化层，123层为卷积层，124层为池化层，125为卷积层，126为池化层；在另一种实现方式中，121、122为卷积层，123为池化层，124、125为卷积层，126为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。[0168]以卷积层121为例，卷积层121可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义。在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关。需要注意的是，权重矩阵的纵深维度(depthdimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用维度相同的多个权重矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵维度相同，经过该多个维度相同的权重矩阵提取后的特征图维度也相同，再将提取到的多个维度相同的特征图合并形成卷积运算的输出。[0169]通常，权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而帮助卷积神经网络100进行正确的预测。[0170]当卷积神经网络100有多个卷积层时，初始的卷积层(例如121)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络100深度的加深，越往后的卷积层(例如126)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。[0171]池化层：[0172]由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，即如图2中120所示例的121-126各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像大小相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。[0173]神经网络层130：[0174]在经过卷积层/池化层120的处理后，卷积神经网络100还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层120只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络100需要利用神经网络层130来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层130中可以包括多层隐含层(如图2所示的131、132至13n)以及输出层140。在本技术中，该卷积神经网络为：对选取的起点网络进行至少一次变形得到串行网络，然后根据训练后的串行网络得到。该卷积神经网络可以用于图像识别，图像分类，图像超分辨率重建等等。[0175]在神经网络层130中的多层隐含层之后，也就是整个卷积神经网络100的最后层为输出层140，该输出层140具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络100的前向传播(如图2由110至140的传播为前向传播)完成，反向传播(如图2由140至110的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络100的损失及卷积神经网络100通过输出层输出的结果和理想结果之间的误差。[0176]需要说明的是，如图2所示的卷积神经网络100仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，如图3所示的多个卷积层/池化层并行，将分别提取的特征均输入给全神经网络层130进行处理。[0177]本技术以下所提及的cnn的具体即可，即可示例性地参阅前述图2或图3所示出的cnn。[0178]在本技术实施方式中，可以对视频进行去噪处理，从而提高视频的显示质量。本技术提供的视频去噪方法可以由终端来执行，也可以由服务器来执行。例如，本技术提供的方法可以部署于用户的手机、相机、视频监控、电视、服务器或者图像信号处理器(imagesignalprocessor，isp)等，用于对采集或者接收到的视频数进行去噪处理。[0179]例如，本技术提供的视频去噪方法可以应用于智慧城市场景中，如图4所示，可以采集各个监控设备采集到的低画质视频数据，可以存储于存储器中。在播放该视频数据时，可以通过本技术提供的视频去噪方法对视频数据进行去噪处理，得到更清晰的视频数据，提高用户的观看体验。[0180]又例如，本技术提供的视频去噪方法可以应用于各种视频拍摄场景。如用户可以使用终端拍摄一段视频，并保存在本地。当用户使用终端对该视频进行播放之前，可以通过本技术提供的视频去噪方法，对存储的视频数据进行去噪处理，从而得到质量更高的视频数据，提高用户的观看体验。[0181]还例如，本技术提供的视频去噪方法可以应用于视频直播场景，如图5所示，服务器可以向用户使用的客户端发送视频流。当客户端接收到服务器发送的数据流之后，可以通过本技术提供的视频去噪方法对对该数据流进行去噪处理，从而得到画质更高的视频数据，提高用户的观看体验。[0182]此外，本技术提供的视频去噪方法还可以应用于自动驾驶场景、图像增强等场景中，此处不再一一赘述。[0183]本技术实施例提供的视频去噪方法可以在服务器上被执行，也可以在终端设备上被执行。其中该终端设备可以是具有图像处理功能的移动电话、平板个人电脑(tabletpersonalcomputer，tpc)、媒体播放器、智能电视、笔记本电脑(laptopcomputer，lc)、个人数字助理(personaldigitalassistant，pda)、个人计算机(personalcomputer，pc)、照相机、摄像机、智能手表、可穿戴式设备(wearabledevice，wd)或者自动驾驶的车辆等，本技术实施例对此不作限定。[0184]示例性地，本技术提供的视频去噪方法的应用的系统架构可以如图6所示。在该系统架构400中，服务器集群410由一个或多个服务器实现，可选的，与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备。服务器集群410可以使用数据存储系统250中的数据，或者调用数据存储系统250中的程序代码实现本技术提供的视频去噪方法的步骤。[0185]用户可以操作各自的用户设备(例如本地设备401和本地设备402)与服务器集群410进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。[0186]每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与服务器集群410进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。具体地，该通信网络可以包括无线网络、有线网络或者无线网络与有线网络的组合等。该无线网络包括但不限于：第五代移动通信技术(5th-generation，5g)系统，长期演进(longtermevolution，lte)系统、全球移动通信系统(globalsystemformobilecommunication，gsm)或码分多址(codedivisionmultipleaccess，cdma)网络、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)网络、无线保真(wirelessfidelity，wifi)、蓝牙(bluetooth)、紫蜂协议(zigbee)、射频识别技术(radiofrequencyidentification，rfid)、远程(longrange，lora)无线通信、近距离无线通信(nearfieldcommunication，nfc)中的任意一种或多种的组合。该有线网络可以包括光纤通信网络或同轴电缆组成的网络等。[0187]示例性地，在一种应用场景中，服务器集群410中的任意一个服务器，可以从数据存储系统，或者其他设备，如终端、pc等中获取到视频数据，然后通过本技术提供的视频去噪方法对该视频数据进行去噪处理，使视频数据中的每一帧图像更清晰，提高用户体验，并将去噪处理后的视频数据发送至本地设备。[0188]然而，即使随着技术的进步，由于采集过程的随机性和/或具有挑战性的传感条件，如弱光场景下拍摄到的图像中噪声较多，数字图像总是会受到一些固有或外部干扰因素的影响。这些干扰因素是随机的，可以建模为一个随机变量，其随机波动称为“噪声”。普通图像传感器如电荷耦合元件(charge-coupleddevice，ccd)或互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)采集到的图像中的噪声近似遵循泊松分布和高斯分布的组合，分别对信号相关和信号无关噪声源进行建模。去噪即指在不引入伪影或修改原始图像结构的情况下，从噪声数据中去除这种随机噪声。[0189]通常，终端设备的拍照成像受限于终端设备光学传感器的硬件性能，由于采集过程的不完善，数字图像的形成总是受到不同形式的噪声和退化的影响，必须使用图像复原算法，将退化后的输入还原为高质量的输入。图像复原方法有很多，如去噪、去马赛克、超分辨率等。具体地说，去噪对于相机处理通路(例如，在智能手机或视频监控摄像头中)来说是必不可少的任务，因为作为相机通路中的第一个典型操作，去噪质量将直接影响所有后续任务的输出结果。[0190]一些常用的去噪算法基于图像处理技术，利用了输入数据的统计特性。例如，可以通过局部相关、非局部相关方法或稀疏算法等计算量低的算法来进行去噪。而例如nl-means或bm3d等更复杂的算法可以产生更高质量的输出，但这些算法在通用的处理器上的推理速度非常慢，需要在特定的硬件上实现。通常，为了更好地推广到任意噪声水平的输入图像，需要逐一地仔细地人工调整多个参数，来显式地控制这些去噪算法，以获取更佳的去噪效果。因而这些去噪方式需要大量的人工参与和丰富的人工调试经验，去噪成本高。[0191]对于视频去噪，一些常用的方式是基于非局部成像或运动估计来进行去噪。虽然这些方式有效，但通常需要极大的计算力同时处理多帧输入。或者可以通过循环递归的方式处理视频信息的时空融合，但去噪质量往往难以接受。[0192]通常，神经网络(如cnn)基于大量可训练卷积核，这些卷积核的参数通过任务特定损失函数的监督方式进行优化。只要给定足够的数据，大量的参数即可自动地在训练过程中自动地建立从退化的噪声输入到恢复的去噪输出的映射。标准前馈cnn的另一个优点是其推理时间快速，因其基本操作(即卷积)可以在硬件上轻松优化。而cnn需要大量的参数来有效且可靠地解决问题，而一旦cnn的复杂性降低，性能也随之急剧下降。此外，由于cnn需要大量的训练数据，导致训练成本高。[0193]因此，本技术提供一种视频处理方法和视频去噪方法，在实现轻量化去噪的同时，提高去噪效果，得到更清晰的图像，进而得到画质更优的视频数据。本技术提供的视频处理方法和视频去噪方法可以应用于手机、视频监控或电视等消费级产品或云产品等高性能计算设备，提高视频的成像质量，经过去相关变换降低噪声图的去噪难度，通过时域融合、空间去噪和精细化等，消除视频图像中存在的噪声，得到干净的输出，增强视频图像的成像质量。[0194]首先对视频处理方法的流程进行介绍，参阅图7a。[0195]701、获取当前帧和第一融合图像。[0196]其中，当前帧可以是视频数据中的非第一帧，即可以是按照预设顺序排列在第一帧之后的任意一帧。第一融合图像中融合了按照预设顺序与当前帧相邻的至少一帧图像的信息，如排列在当前帧之前或者之后的一帧或者多帧图像等。[0197]该预设顺序可以是视频数据的播放顺序、或者按照时间顺序排列的顺序、或者与播放顺序相反的顺序等，具体可以根据实际应用场景进行调整，此处不作限定。[0198]例如，可以按照视频的播放顺序，对视频中的每一帧图像进行去噪处理，得到更清晰的图像。在对每一帧图像进行去噪处理的过程中，可以选择结合与每一帧图像相邻的一帧或多帧图像的融合图像来对每一帧图像进行去噪，从而结合了视频中的时域信息，来对图像进行去噪，提高视频去噪的效果，从而得到图像质量更优的视频。[0199]应理解，若当前帧为视频数据中按照预设顺序排列的第一帧，在对第一帧进行处理时，则可能不存在第一融合图像，则无需执行融合当前帧和第一融合图像的步骤。若当前帧为第二帧，则第一融合图像即可直接为第一帧。[0200]702、从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征。[0201]其中，可以分别从当前帧和第一融合图像中提取特征，为便于理解，将从当前帧中提取到的特征称为第一特征，将从第一融合图像中提取到的特征称为第二特征。[0202]具体可以使用特征提取网络来从图像中提取特征，该特征提取网络可以如前述所述的cnn，或者其他包括了一个或者多个卷积的神经网络等。[0203]703、根据第一特征和第二特征确定得到第一融合权重和第二融合权重。[0204]在从当前帧和第一融合图像中提取到特征之后，还需要对第一特征和第二特征进行融合，在此之前，可以根据第一特征和第二特征分别包括的前景和背景的特征，分别确定融合当前帧和第一融合图像时，各个图像占用的权重。[0205]可以理解为，第一特征中可以包括当前帧中前景部分和背景部分的特征，可以用于识别出当前帧中前景部分的位置和背景部分的位置；第二特征可以包括第一融合图像中的前景部分和背景部分的特征，可以用于识别出第一融合图像中前景部分的位置和背景部分的位置。例如，在视频数据中，随着时间变化，每一帧图像中的前景的位置可能不相同，而当前帧中所包括的前景的位置通常是更准确的，因此，需要区分出当前帧中的前景部分和背景部分，以便于进行后续的融合。而第一融合图像中因融合了排列在当前帧之前的至少一帧图像的信息，其所包括的噪声通常是更少的，画质也就更优。[0206]本实施例中可以通过从第一融合图像中所提取到的特征，从而区分第一融合图像中的全景部分和背景部分，以便于后续融合当前帧和第一融合图像时，可以更准确地确定前景部分和背景部分分别占用的权重，从使平滑当前帧中的噪声，使融合后的图像中所包括的噪声更少。[0207]其中，当前帧中前景对应的权重不小于第一融合图像中前景所占用的权重，当前帧中背景部分所占的权重不大于第一融合图像中背景部分所占的权重。具体地，可以通过第一特征确定当前帧中的前景部分，以及通过第二特征第一融合图像中的前景部分，然后给予当前帧中的前景部分更高的权重，例如，可以为当前帧中的前景部分设置权重为0.8，为第一融合图像中的背景部分设置权重为0.2。还可以通过第一特征确定当前帧中的背景部分，以及通过第二特征确定第一融合图像中的背景部分，然后给予当前帧中的背景部分更低的权重，例如，可以为当前帧中的背景部分设置权重为0.4，为第一融合图像中背景部分设置权重为0.6。[0208]704、根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像。[0209]在得到第一融合权重和第二融合权重之后，即可按照第一融合权重和第二融合权重对当前帧和第一融合图像进行融合，得到第二融合图像。[0210]通常，当前帧中的前景部分的位置更准确，而第一融合图像中的噪声更少，因此，在融合当前帧和第一融合图像时，可以更多参考当前帧中的前景，和第一融合图像中的背景，从而减少融合后的图像中的鬼影，以及减少融合后得到的图像中的噪声。[0211]本技术实施方式中，通过融合当前帧和第一融合图像，相当于结合了场景中相邻帧之间的时域相关的信息，对当前帧中的噪声进行了平滑，减少了图像中的噪声，得到了噪声更小的第二融合图像。且在融合当前帧和第一融合图像时，更多参考了当前帧中的前景部分和第一融合图像中的背景部分，因视频数据中的对象可能随时间改变位置，本技术实施方式中通过当前帧所包括的前景和第一融合图像所包括的背景，可以大大减少第二融合图像中的鬼影，提高最终得到的图像的质量。[0212]可选地，在融合当前帧和第一融合图像之前，还可以通过颜色变换矩阵对当前帧进行颜色变换，得到至少一个色度分量和至少一个亮度分量，为便于区分此处称为第一色度分量和第一亮度分量，该至少一个第一色度分量和至少一个第一亮度分量即可组成新的当前帧，即进行了颜色变换后的当前帧。还通过颜色变换矩阵对第一融合图像进行颜色变换，得到至少一个色度分量和至少一个亮度分量，为便于区分此处称为第二色度分量和第二亮度分量。该至少一个第二色度分量和至少一个第二亮度分量即可组成新的第一融合图像。在融合当前帧和第一融合图像时，即可融合进行了变色变换后的新的当前帧和新的第一融合图像，从而得到第二融合图像。[0213]对当前帧和第一融合图像进行的颜色变换，相当于对当前帧和第一融合图像进行了去颜色相关变换，将当前帧和第一融合图像从像素域变换到不同的域，以便于进行后续的去噪操作。[0214]具体地，前述的颜色矩阵可以是预设设定的，也可以是在对至少一个卷积核进行训练得到。例如，本技术提供的方法可以通过神经网络来实现，在使用大量样本对该神经网络进行更新时，可以同时更新该颜色变换矩阵，得到更新后的颜色变换矩阵。[0215]与本技术提供的视频去噪方法的区别包括，在得到第二融合图像之后，通过逆颜色变换矩阵，对第二融合图像进行颜色变换，得到更新后的第二融合图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。本技术实施方式中，若进行了去颜色相关变换之后，还可以进行逆颜色变换，从而恢复图像中的颜色，得到具有颜色的图像。[0216]可选地，在对当前帧和第一融合图像进行融合之前，还可以对当前帧和第一融合图像进行空间频率的去相关变换，以便于进行后续的图像去噪。具体地，可以对当前帧和第一融合图像进行小波变换，得到当前帧的至少一个低频分量和至少一个高频分量和第一融合图像的至少一个低频分量和至少一个高频分量。为便于区分，将当前帧的低频分量和高频分量分别称为第一低频分量和第一高频分量，至少一个第一低频分量和至少一个第一高频分量组成新的当前帧；将第一融合图像的低频分量和高频分量分别称为第二低频分量和第二高频分量，至少一个第二低频分量和至少一个第二高频分量组成新的第一融合图像，从而从空间频率的维度，将图像中的主要结构和细节信息进行了分离，从而更好地对图像中的主要结构和细节分别进行去噪，提高去噪效果。[0217]具体地，可以使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，小波系数是预设系数或者对至少一个卷积核进行训练得到，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像。[0218]若对当前帧和第一融合图像需要进行颜色变换和小波变换，则可以在进行了颜色变换之后，再进行小波变换，从而实现对当前帧和第一融合图像的去颜色相关变换和空间频率的去相关，以便于进行后续的去噪，得到去噪效果更好的图像。[0219]与本技术提供的视频去噪方法的区别包括，若进行了小波变换，则在得到第二融合图像之后，还可以对第二融合图像进行逆小波变换，如通过逆小波系数，对第二融合图像进行逆小波变换，得到更新后的第二融合图像，逆小波系数是小波系数的逆矩阵。从而使逆小波变化可以准确地对高频分量和低频分量进行恢复，相当于恢复图像中的结构和细节，得到更清晰的第二融合图像。[0220]此外，还可以理解为，在对当前帧的下一帧进行处理时，即将下一帧作为新的当前帧时，即可将第二融合图像作为新的第一融合图像来对新的当前帧进行去噪处理，从而实现对视频数据的迭代去噪，利用视频数据中相邻帧之间的时域上的关联进行去噪，提高图像的去噪质量，得到画质更优的去噪图像。[0221]为了进一步减少第二融合图像中的噪声，还可以对第二融合图像进行进一步地去噪处理，参阅图7b，本技术提供的一种视频去噪方法的流程示意图。[0222]需要说明的是，本技术实施例中的步骤701-704可以参阅前述图7a中的相关介绍，此处不再赘述。[0223]705、对第二融合图像进行去噪，得到去噪图像。[0224]其中，在融合当前帧和第一融合图像之后，得到的第二融合图像相对于当前帧，其噪声已下降，此时可以继续对第二融合图像进行去噪，减少第二融合图像中的噪声，得到噪声更少的去噪图像。[0225]具体地，可以对第二融合图像进行滤波处理，如fir(finiteimpulseresponse)滤波、中值滤波、维也纳滤波等，从而减少第二融合图像中的噪声，得到图像质量更优的去噪图像。[0226]可选地，在对第二融合图像进行去噪时，可以结合第一融合权重、第二融合权重，当前帧和第一融合图像来进行去噪。因此，在进行去噪时，可以复用融合当前帧和第一融合图像所使用的信息，提高数据利用率，使后续的去噪效果更好。[0227]可选地，可以结合第一融合权重、第一融合图像和当前帧计算第二融合图像中每个像素点的方差，得到融合图方差。然后融合该融合图方差和第二融合图像，即可得到进一步去噪后的去噪图像。[0228]例如，可以通过循环递归公式计算融合图中每个像素点的方差，得到融合图方差，重复利用时域融合的信息，来计算第二融合图像中每个像素点的方差，然后使用该方差结合第二融合图像来进行去噪，得到画质更优的去噪图像。[0229]更具体地，可以从第二融合图像中提取特征，得到第三特征，从融合图方差中提取特征，得到第六特征，然后融合第三特征和第六特征，即可得到去噪图像。本实施方式中，通过融合了融合图方差的方式，进一步平滑第二融合图像中的噪声，得到噪声更少的去噪图像。[0230]具体例如，去噪步骤可以通过去噪cnn来执行，该去噪cnn中包括了一层或者多层卷积层以及线性整流函数/修正线性单元(rectifiedlinearunit，relu)，将第二融合图核融合图方差作为去噪cnn的输入，即可输出去噪图像。该去噪cnn可以是使用大量样本进行训练得到，可以用于提取特征，并融合提取到的特征。[0231]此外，在进行去噪时，还可以结合当前帧来进行去噪。具体例如，在使用去噪cnn进行去噪时，除了将融合图方差和第二融合图像作为去噪cnn的输入之外，还可以将当前帧作为去噪cnn的输入，输出去噪图像。[0232]因此，在本技术实施方式中，可以通过对视频中的每一帧进行迭代更新，相当于利用视频中图像之间在时域中的关联性，平滑每一帧图像中的噪声，提高了对视频数据中每一帧的去噪效果，从而得到画质更优的视频数据，提高了用户体验。[0233]可选地，若在融合当前帧和第一融合图像之前，通过颜色变换矩阵对当前帧和第一融合图像进行了去颜色变换，则在对第二融合图像进行去噪之后，还可以对去噪后的图像进行逆颜色变换。具体地，还可以通过逆颜色变换矩阵对去噪后的图像进行逆变换，该逆颜色矩阵是颜色变换矩阵的逆矩阵，即颜色矩阵和逆颜色矩阵的相乘即可得到单位矩阵。在更新至少一个卷积核时，可以将颜色矩阵和逆颜色矩阵的乘积为单位矩阵作为约束来进行更新，从而使逆颜色变换可以准确地对图像进行颜色还原，得到更清晰的去噪图像。[0234]应理解，若未进行步骤705，则可以直接对第二融合图像进行逆颜色变换，其变换方式与上述对去噪图像的变换方式类似，从而恢复第二融合图像的颜色，得到清晰的第二融合图像。[0235]可选地，若在融合当前帧和第一融合图像之前，对当前帧和第一融合图像进行了小波变换，则在对第二融合图像进行去噪之后，还可以对去噪后的图像进行逆小波变换，从而得到在空间频率的维度相关的去噪图像。具体地，可以通过逆小波系数，对去噪图像进行逆小波变换，得到更新后的去噪图像，逆小波系数是小波系数的逆矩阵。[0236]应理解，若未进行步骤705，则可以直接对第二融合图像进行逆小波变换，其变换方式与上述对去噪图像的变换方式类似，从而恢复第二融合图像的结构和细节，得到清晰的第二融合图像。[0237]因此，本技术实施方式中，可以通过去颜色变换和空间维度的去相关变换，分离出图像的颜色、高频和低频，从而可以更准确地过滤掉噪声，得到去噪效果更好的去噪图像。[0238]706、融合第二融合图像和去噪图像，得到更新后的去噪图像。[0239]在得到去噪图像之后，为了避免平滑过度，可以融合第二融合图像和去噪图像，从而通过第二融合图像中包括的信息，来丰富去噪图像中的细节，从而得到包括了更多细节的去噪图像，提高去噪图像的质量。[0240]可选地，融合第二融合图像和去噪图像的具体方式可以包括：首先，从第二融合图像中提取特征，得到第三特征；随后，从去噪图像中提取特征，得到第四特征；根据第三特征和第四特征确定第三融合权重和第四融合权重，第三融合权重为第三特征对应的权重，第四融合权重为第四特征对应的权重，其中在，第三特征和第四特征中，每个像素点的频率和对应的权重值呈负相关关系；根据第三融合权重和第四融合权重，融合第三特征和第四特征，得到更新后的去噪图像。因此，本技术实施方式中，可以根据像素点的频率来确定权重值，频率越高对应的权重值也就越低，从而可以有效平滑高频信息中所包括的噪声，实现去噪效果。[0241]因此，在本技术实施方式中，在对第二融合图像进行去噪得到去噪图像之后，还可以融合第二融合图像和去噪图像，可以防止去噪图像过度平滑，使用第二融合图像来丰富去噪图像中的细节，得到细节更丰富的去噪图像，提高去噪图像的画面质量，提高用户体验。[0242]前述对本技术提供的方法的流程进行了介绍，为便于理解，下面基于更详细的应用场景，对本技术提供的视频去噪方法的流程进行更进一步地介绍。[0243]示例性地，本技术提供的另一种视频去噪处理方法的流程可以参阅图8。[0244]本技术实施例可以理解为提出了一种去噪方式，循环地使用多阶段的处理方式来去除视频中的噪声，输入视频可以是任意摄像机或者传感器采集到的图像序列，每帧图像可以通过不同的时间步长来识别，如表示为{0,1,2，…，t，…}。[0245]首先，因携带噪声，将前述的当前帧表示为噪声帧noisyt，噪声帧noisyt可以是视频数据中的任意一帧。若噪声帧noisyt为非第一帧，则可以得到融合了上一帧图像的融合图像，如表示为fusedt-1。[0246]然后对noisyt和fusedt-1进行去相关操作，如去颜色相关、去空间频率相关等，以便于进行后续的噪声平滑。可以先利用颜色变换将输入视频图像转换到去颜色相关的亮度色度空间，然后利用小波变换进行去频率变换。这两种变换能够降低去噪的难度，而小波变换更有降低图像分辨率，减少计算复杂度的优点。[0247]时域融合，是指将处于不同时间段的去相关后的noisyt和fusedt-1进行融合，得到融合后的融合图像fusedt，融合后的图像fusedt融合了当前帧和上一融合帧之间的时域相关的信息，从而可以平滑噪声。在对下一帧进行处理时，即可融合fusedt来平滑噪声，实现对视频数据进行迭代去噪。时域融合步骤可以检测视频的帧之间运动的对象信息，通过循环递归地使用合上一帧(t-1)的融合图像和当前帧的噪声输入，使得图像的静态背景逐渐收敛到多帧平均的效果，而运动前景则来自当前帧。这将大量减少输入图中的噪，得到融合图，极大降低去噪的难度。[0248]得到fusedt之后，即可进行空间去噪。过滤fusedt中的噪声，得到去噪后的图像denoisedt-1。[0249]然后结合fusedt对denoisedt-1进行精细化处理，即将fusedt所包括的细节融合至denoisedt-1，以避免denoisedt-1过度平滑导致的细节丢失。[0250]随后，对精细化后的denoisedt-1进行逆变换，即前述去相关变换的逆变换，从而对图像的颜色、尺度等进行恢复，得到与noisyt的颜色或尺度等相应的新的去噪图像，如表示为outputt。[0251]在本技术实施方式中，在融合阶段将时刻(t)处的当前帧与在上一时间步骤(t-1)阶段融合的图像进行时间上的融合。融合阶段利用连续帧之间的时间相关性，以最佳方式降低噪声。随后，去噪阶段有效地完全去除融合图像上的残留噪声。融合阶段的初始降噪有利于去噪阶段，使得去噪任务更容易。[0252]然而，去噪可能会产生不完美的输出。因此，本技术采用精细化阶段来融合当前融合图像和去噪图像。精细化的目的是将图像结构从富有细节但仍有噪声的融合图中取出，添加到无噪声但可能过度平滑的去噪图像上。最终产生更高质量的最终输出图像。[0253]需要说明的是，以图8为例，本技术提供的视频处理方法和视频去噪方法的流程类似，区别在于，视频处理方法中可以无需执行去噪和精细化步骤，即可得到画质提高的图像，后续的逆变换步骤的输入即直接为fusedt。本技术示例性地以一种视频去噪方法的整体流程为例进行示例性说明。[0254]为便于理解，下面对本技术提供的视频去噪方法的流程中的各个步骤分别进行详细介绍。本技术提供的视频去噪方法的流程具体可以划分为去相关变换、时域融合、去噪、精细化和逆变换等步骤，下面分别对这些步骤进行更详细的示例性介绍。[0255]首先，为便于理解，对图像中可能包括的噪声进行示例性介绍。[0256]第t帧噪声图像(noisyt)可视为干净图像(cleant)和随机噪声(noiset)的加和：noisyt＝cleant+noiset，其中，噪声可以是服从信号相关的异方差零均值高斯分布的随机变量，如方差分布可以表示为：[0257]noiset～gaussian(mean＝0,variance＝shottcleant+readt)。[0258]其中，shott表示散粒噪声，readt表示读取噪声，散粒噪声和读取噪声通常和拍摄视频的设备的性能、拍摄参数或环境信息确定的，如根据曝光、增益或者感光度(iso)等确定散粒噪声和读取噪声。[0259]具体例如，每一帧图像对应的iso可能不相同，如iso的值和噪声的值通常呈正相关关系，iso值越大，噪声也就越大；噪声还可能和环境亮度相关，如亮度越高，噪声越大。噪声参数(如散粒噪声和读取噪声)与拍摄视频的设备的设置之间的关系称为噪声水平函数(noiselevelfunction，nlf)，通常可以使用校准方法构造设备的nlf。[0260]通过本技术提供的视频去噪方法，可以有效地滤除散粒噪声或读取噪声等，从而得到去噪想过更好的去噪图像，下面对去噪的详细步骤进行介绍。[0261]一、去相关变换[0262]其中，去相关变换包括去颜色相关变换和/或去空间频率相关变换等，下面分别对颜色相关变换或去空间频率相关变换分别进行介绍。[0263]1、去颜色相关变换[0264]去颜色相关变换(简称颜色变换)可以理解为对图像的像素进行颜色的去相关化，从而减少各个像素点之间在颜色维度的关联，以便于进行后续的去噪处理。[0265]具体地，颜色变换和逆颜色变换可以理解为对图像进行正向和反向的线性去相关变换，将图像从像素域变换到不同的域，如亮度域、色度域等，以便于后续对图像进行去噪。[0266]更具体地，可以通过yuv变换来进行去颜色相关变换，将颜色图像，如rgb图像转换为亮度分量和色度分量。亮度分量即noisyt中的亮度，如该亮度可以是noisyt中的像素点的颜色的平均值，色度分量即描述noisyt的颜色本身的度量，如图像的颜色若可以分为三个通道，则每个通道对应一个色度分量，同时对每个像素点的所有通道的颜色纸求平均，即可得到一个亮度分量。[0267]如图9所示，输入图像(即noisyt)可以通过rggb四个通道来表示，即每个像素点在每个通道维度都具有一个颜色值，输入图像中每个通道的颜色值组成一维矩阵，然后使用颜色变换矩阵对四个维度的阵进行逐点卷积，得到三个色度分量和一个亮度分量。[0268]颜色变换可以理解为矩阵乘法，矩阵的长度等于输入的颜色通道的数量，如输入图像可以表示为4*4的矩阵，可以通过逐点卷积的方式来实现颜色变换。[0269]本技术实施方式中，可以通过去颜色相关变换，将输入图像转换为亮度分量和至少一个色度分量，亮度分量表示输入图像的亮度，色度分量用于描述输入图像的每个颜色。因亮度通常可以是平均颜色值，因此噪声将通过平均颜色值得到了平滑，减少了噪声。[0270]2、去空间频率相关变换[0271]去空间频率变换可以理解为在频率的维度对图像的像素点进行去相关变换。具体地，可以分别对输入图像进行高通或者低通滤波，得到高频分量和低频分量。从而使输入图像的像素点可以离散分布在分离的空间频率中，实现对输入图像的去空间频率相关，从而将图像的有效部分和噪声部分分离为不同的频率分量，使后续的去噪操作的去噪效果更好，去噪更简单。[0272]具体地，可以对输入图像进行小波变换，从而实现去空间频率相关变换。小波变换具体可以使用高通滤波器和低通滤波器在输入图像的垂直和水平方向进行滤波，即将输入图像的每个颜色通道分解为低频分量和高频分量(或者称为低频子带和高频子带)，每个分量的大小可以与输入图像相等，也可以小于输入图像，如每个分量的大小是输入图像的一半。通常，基于频率的表示将图像的有效部分和噪声分离成不同的频率分量，使去噪更为简单。[0273]例如，可以使用小波变换，将输入的图像分解为四个不同的频率分量，包括一个低频分量和三个高频分量，每个分量的大小可以是输入图像的一半,每个子带内的元素称为系数。这四个子带表示低频(如通过用低通核对输入的图像进行滤波获得)和沿垂直、水平以及对角线方向滤波得到的高频(如通过使用定向高通核对图像进行滤波获得)。[0274]若输入的图像包括了多个通道，每个通道可以表示为一个一维的图像，可以对每个一维图像进行小波变换，得到每个一维图像对应的一个低频分量和三个低频分量。例如若输入的图像通过四个通道表示，则可以对每个通道都进行小波变换，从而得到16个频率分量，包括4个低频分量和12个高频分量。[0275]如图10所示，输入图像为h*w*c的图像，h表示长度，w表示宽度，c表示通道数，首先确定小波系数，所选小波族(如何理解，系数)的两个一维前向分解滤波器实现(例如harr小波)。然后计算小波系数配对的外积，得到小波核，如从每对一维滤波器的外积生成四个二维卷积核，这些核可以在步长为2的卷积中计算输出。然后使用小波核，对输入图像进行卷积操作，卷积操作的步长为2，每个通道对应一个低频分量和三个高频分量。[0276]通常，图像结构与噪声对应的频率特性差异很大。在进行了去频率相关变换之后，噪声主要集中于高频分量中的低绝对值分量中。这对于去噪而言是一个强有力的先验信息，比如可以软阈值和硬阈值去噪方法将高频分量的低值设置为零，以过滤大量的噪声，实现更好的去噪效果。本技术实施例中，还可以使用非线性模型cnn来进行去噪，以处理去相关变换后得到的频率分量，实现更优的去噪效果。[0277]3、去颜色相关变换和去空间频率相关变换结合[0278]其中，可以从去颜色相关变换和去空间频率相关变换中选择其中一种，来对输入图像进行变换，也可以是对输入图像进行去颜色相关变换和去空间频率相关变换。例如，在进行了去颜色变换得到一个亮度分量和三个色度分量之后，将该一个亮度分量和三个色度分量(即四个通道的图像)作为小波变换的输入，输出每个通道对应的一个低频分量和三个高频分量。[0279]颜色变换是一个类似于yuv变换的去颜色相关的线性变换，而小波变换则是一种去空间频率相关的变换。这些变换可以通过学习获得最佳的变换参数，且通过可逆性损失函数使之可以完美重建。[0280]因此，在本技术实施方式中，可以通过去颜色相关变换，分离色度分量和亮度分量，从而平滑图像中的噪声，实现去噪效果。或者通过去频率相关变换，使各个像素点的高频和低频离散分布，以便于后续进行更为简单的滤波，实现更好的噪声过滤效果。[0281]二、时域融合[0282]在进行了去相关变换之后，时域融合的输入可以包括去相关变换后的noisyt和融合图像fusedt-1。时域融合可以由时域融合cnn来进行，具体地，可以分别从去相关变换后的noisyt和融合图像fusedt-1中提取特征，然后根据特征确定去相关变换后的noisyt和融合图像fusedt-1分别对应的权重，然后按照该权重融合去相关变换后的noisyt和融合图像fusedt-1。通常，因视频数据中的前景可能处于运动状态，在每一帧中的位置可能不相同，而背景则可能变化不大。[0283]因此，在融合去相关变换后的noisyt和融合图像fusedt-1时，可以为当前帧即去相关变换后的noisyt的前景部分设置较高的权重，如为去相关变换后的noisyt中的前景部分设置权重为0.8，为去相关变换后的fusedt-1中于该前景部分对应的像素点的权重设置为0.2。去相关变换后的noisyt中背景部分的权重不大于去相关变换后的fusedt-1中对应像素点的权重。例如，去相关变换后的noisyt中背景部分的权重可以设置为0.4，去相关变换后的fusedt-1中对应像素点的权重设置为0.6。[0284]因此，本技术实施方式中，可以结合当前帧中的前景部分和融合图像中的背景部分来确定各个图像的融合权重，使融合图像中的前景部分更多参考当前帧中的前景，背景部分则更多参考上一帧融合图像，从而使融合后的图像在前景部分和背景部分的表现都更好，且可以减少鬼影的产生。[0285]此外，时域融合的输入还可以包括噪声方差，如该噪声方差表示为：[0286]var[noisyt]＝shott·luminance(noisyt)+readt[0287]其中，luminance为去相关后的noisyt的亮度，如多个颜色通道的均值，shott表示散粒噪声，readt表示读取噪声。噪声方差可以表示为单通道的图像，表示是输入噪声图中噪声方差的估计。针对时域融合cnn而言可以确定噪声水平，从而使融合图像的任务可以自然地适应不同的噪声水平。[0288]如图11所示，融合cnn可以用于结合噪声方差确定去相关后的noisyt和去相关后的fusedt-1分别对应的权重，可以通过大量的样本训练得到，将噪声方差、去相关后的noisyt和去相关后的fusedt-1作为融合cnn的输入，从而输出去相关后的noisyt和去相关后的fusedt-1分别对应的权重，噪声方差可以用于融合cnn确定噪声水平，从而为去相关后的noisyt和去相关后的fusedt-1分配对应的权重，即如图11中所示的融合权值weightst。然后根据融合cnn输出的去相关后的noisyt和去相关后的fusedt-1分别对应的权重，融合去相关后的noisyt和去相关后的fusedt-1，如融合图像表示为：[0289]fusedt＝fusedt-1·(1-weightst)+noisyt·weightst。[0290]融合cnn可以包括多层卷积算子和relu非线性算子，最终的输出为由sigmoid或softmax激活的两个通道，以保证图像融合方程的凸性。融合阶段的目标是利用自然视频中固有的时间相关性，最大程度地减少图像中存在的噪声，同时避免时间假象(如鬼影)，以尽可能多地保留图像中的结构和细节。而在静态的背景中，输出融合图像是时间平均最能减少融合图中的噪声，而最终预测权重接近零，反之，运动的前景的输出权重接近于1，融合后的图像将更接近于当前噪声帧，但所包括的噪声更少。融合的结果中，静态背景可以逐渐收敛到理想的帧平均结果，而动态前景则直接来自于当前噪声帧。融合可以最大限度减少噪声，同时避免产生重影。[0291]三、去噪[0292]其中，去噪可以通过滤波器、cnn等来实现，即本技术实施例中所提及的去噪模型可以包括滤波器或者cnn等。示例性地，本技术可以通过cnn实现，为便于区分将去噪所使用的cnn成为去噪cnn，该去噪cnn中可以包括多层卷积层和relu激活函数等。[0293]具体地，在经过前述的去相关变换之后，得到的融合图像fusedt的噪声水平已下降，可以将融合图像fusedt作为去噪cnn的输入，输出去噪图像denoisedt。[0294]此外，可选地，还可以将noisyt也作为去噪cnn的输入，从而输出denoisedt。[0295]可选地，还可以计算融合图方差，然后将融合图方差和fusedt都作为去噪cnn的输入，输出去噪图像。[0296]例如，如图12所示，将融合图方差var[fusedt]、noisyt和fusedt都作为去噪cnn的输入，输出去噪图像denoisedt。如可以结合前述的weightst，即noisyt对应的权重，和fusedt-1对应的权重，计算每个像素点的方差，得到融合图方差。例如，该融合图方差还可以表示为：[0297][0298]在此公式中，融合权重weightst小于1，这使得融合图方差随着去噪的帧数的增加而减小，即表示融合图像中的噪声也越来越小。[0299]因此，在本技术实施方式中，可以通过去噪cnn来进行去噪，通过在去噪cnn中输入融合图方差，使去噪cnn可以获知噪声水平，进而实现更好的去噪效果。[0300]四、精细化处理[0301]由于去噪操作本身的缺陷，空间去噪阶段很可能导致过度平滑。尤其在低信噪比的情况下，或算法的计算复杂度的约束特别严格的情况下这种现象更严重。在得到去噪图像之后，为避免过度平滑导致去噪图像中的信息丢失，可以通过融合图像和去噪图像的信息来克服去噪算法的固有局限性。如可以继续融合fusedt和denoisedt，以通过融合操作将fusedt中的细节融合至denoisedt，使denoisedt所包括的细节更丰富，提高图像质量。[0302]例如，如图13所示，精细化处理步骤也可以通过直接融合或者cnn来实现，此处以使用cnn来实现精细化步骤为例，为便于区分将该cnn称为精细化cnn，将var[fusedt]、fusedt和denoisedt都作为精细化cnn的输入，输出fusedt和denoisedt分别对应的权重。在确定fusedt和denoisedt分别对应的权重时，可以参考融合图方差对应的噪声水平，为高频和低频噪声分配对应的权重。[0303]通常，在精细化处理的步骤中，高频的权重值更小，低频的权重值更高。通常，低频包含了图像的主要结构，而高频则包含了图像的细节信息，因此，为了防止去噪图像过度平滑，可以更多地参考低频中所包括的图像主要结构，从而使图像中的结构更清晰。确定fusedt和denoisedt分别对应的权重之后，即可融合fusedt和denoisedt。例如，精细化的输出可以表示为：[0304][0305]为denoisedt对应的权重，为fusedt对应的权重。[0306]可以理解的是，精细化权值可以用于从富含细节但仍然有点噪声的融合图像中提取高频信息，并将高频细节信息到无噪声但可能过光滑的去噪图像中。如图13中所示，即使cnn具有非常低的复杂度，该公式也可以提供高质量的结果。[0307]精细化cnn的形式可以是多样的，本技术实施例中，可以使用多层卷积和relu激活函数组成。为了保证精细化公式的权值分布再[0,1]之间，最终的预测权值由sigmoid或softmax激活。[0308]因此，在本技术实施方式中，通过融合fusedt和denoisedt来避免denoisedt的过度平滑，得到细节更丰富的去噪图像。并且，为高频分配更低的权重，而为低频分配更高的权重，可以实现平滑高频信息中所包括的噪声的效果，得到去噪效果更好的去噪图像。[0309]五、逆变换[0310]其中，逆变换是前述去相关变换的逆变换，若前述进行了去颜色相关变换，则在得到去噪图像之后，需要对去噪图像进行逆变换，若前述去相关变换进行了小波变换，则在得到去噪图像之后需要进行逆小波变换。[0311]应理解，若未进行去相关变换，则无需进行逆变换。[0312]而在本技术提供的视频处理方法中，若未执行前述去噪步骤，则可以直接对得到的融合图像fusedt进行逆变换，下面示例性地以对去噪图像进行逆变换为例进行示例性说明，在一些场景中也可以替换为对fusedt进行逆变换，去变换方式类似，区别仅在于输入的图像不同，本技术对此不再赘述。[0313]例如，如图14所示，在去噪之前，通过颜色变换对输入图像进行了去颜色相关操作，得到亮度分量和色度分量，在后续进行了去噪之后，使用逆颜色变换矩阵对去噪图像进行逐点卷积操作，输出颜色图像，即新的去噪图像。相当于在前述去相关步骤中，对每个像素点的颜色进行了分离，通过逆变换恢复了去噪图像的颜色，得到具有颜色的去噪图像。[0314]其中，颜色变换矩阵和逆颜色变换矩阵互为逆矩阵，即颜色变换矩阵和逆颜色变换矩阵的乘积为单位矩阵，从而保证了去噪图像的颜色可以准确恢复。例如，颜色矩阵可以表示为cforward，由于颜色变换是线性的，并且由矩阵定义，因此可以通过矩阵的求逆推导颜色变换的逆变换矩阵cinverse，因而在算法流程的末端使用逆变换矩阵逐点卷积即可重建颜色信息。由于正逆方向的颜色变换都是线性卷积算子，因此变换的矩阵权值可以通过数据驱动的方式学习，以适应具体的去噪任务和输入数据。为保证训练过程中保持矩阵的可逆性，可以增加cforward·cinverse＝i作为约束项，i为单位矩阵，以保证确保正向和逆算子的应用能够准确地重建。[0315]又例如，如图15所示，在去噪之前，使用小波系数对输入图像进行了小波变换，在去噪之后，使用逆小波核，对去噪后的高频分量和低频分量进行反卷积操作，得到低频和高频融合的输出图像，即新的去噪图像，使去噪图像的主要结构和细节得到了恢复。逆小波核是对逆小波系数进行外积得到，逆小波系数和小波系数互为逆矩阵，即逆小波系数和小波系数的乘积为单位矩阵，从而保证了对图像的主要结构和细节的准确恢复。[0316]例如，去相关空间变换也是线性运算，因此可以使用卷积算子来实现。小波系数可以表示为wforward，逆小波系数可以表示为winverse，wforward和winverse互为逆矩阵，即wforward·winverse＝i，i，为单位矩阵。与颜色变换类似，去空间频率相关变换的逆变换的权重也可以以数据驱动的方式学习，本技术实施方式中，在更新winverse时，可以将wforward·winverse＝i作为约束，从而使逆小波变化可以准确地对高频分量和低频分量进行恢复，得到更清晰的去噪图像。[0317]若在去噪之前，既进行了去颜色相关变换，也进行了小波变换，则在进行逆变换时，则需要进行逆颜色变换和逆小波变换，从而使去噪图像可以恢复颜色和频率。[0318]因此，在本技术实施方式中，在经过去相关变换、时域融合、去噪和精细化步骤之后，即可得到去噪效果极佳的去噪图像。可以理解为，利用了视频数据中相邻帧之间在时间维度的相关性，减少了图像中的噪声，同时还可以避免鬼影，得到了去噪效果更好的图像。[0319]此外，为了进一步提高图像质量，还可以对当前帧和第一融合图像进行多尺度处理，即在将当前帧和第一融合图像进行去相关操作之后，将去相关操作后的图像进行一次或者多次下采样多种尺度的图像，然后分别对每种尺度的图像进行前述步骤702-705的处理，如前述的时域融合、去噪以及上采样操作等，对各个尺度的图像进行迭代去噪处理，得到去噪效果更好的去噪图像，每次处理以结合上一个尺度(即更小尺度)得到的融合图像或者去噪图像来进行当前次的迭代处理，从而可以融合尺度更小的融合图像，相当于实现了平滑噪声的效果。[0320]具体地，该多尺度处理的过程可以包括：对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理，得到多尺度融合图像；融合去噪图像和多尺度融合图像，得到更新后的去噪图像。[0321]示例性地，以对其中一个尺度的图像(如第一下采样融合图像和相同尺度的第一下采样帧为对当前帧和第一融合图像进行了一次下采样得到的图像)去噪处理过程为例，根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样融合图像和第一下采样帧的尺寸相同，也可以理解为第一下采样融合图像和第一下采样帧被下采样的次数相同；并且，计算第五融合权重和计算第六融合权重的方式与前面计算第一融合权重与第二融合权重的方式类似，区别仅在于图像的尺度不相同，此处不再赘述。随后，根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合；对第三下采样融合图像进行去噪，得到第一下采样去噪图像；对第一下采样去噪图像进行上采样，得到上采样去噪图像，上采样图像用于结合上采样图像尺度相同的融合图像进行去噪得到尺度大于第一下采样帧的图像。[0322]具体例如，如图16所示，下采样可以选择小波变换，将去相关后的noisyt和fusedt-1分别进行一次或者多次下采样，得到多个尺度的下采样图像，如图16中所示出的，在去相关操作中进行了一次小波变换，将尺寸为h×w×c的图像下采样为尺寸为h/2×w/2×4c的图像，即第一次下采样得到的下采样帧或者下采样融合图像；在进行下一次下采样中，将尺寸为h/2×w/2×4c的图像下采样为尺寸h/4×w/4×16c的图像，即两次下采样得到的下采样帧或者下采样融合图像，后续的下采样以此类推。[0323]在其中一种尺度的处理过程中，如图16中所示出的尺度2，可以对该尺度的图像进行时域融合，即融合对去相关后的noisyt和fusedt-1进行下采样后得到的图像，时域融合的步骤与前述步骤二中的时域融合步骤类似，此处不再赘述。[0324]同时，在对每个尺度的图像进行时域融合时，还可以融合下一尺度过程中进行了时域融合的图像的上采样图像，如图16中所示，在尺度2的处理过程中，可以对进行了一次下采样后的noisyt和fusedt-1进行上采样，得到上采样图像，在尺度1的处理过程中，在进行时域融合时，除了融合去相关变换后的noisyt和fusedt-1，还可以融合尺度2的处理过程中得到的上采样图像。例如，可以融合上采样图像和去相关变换后的noisyt，得到新的noisyt，或者，将上采样图像作为融合cnn的输入，输出上采样图像对应的权重，然后根据权重来融合上采样图像、noisyt和fusedt-1等。[0325]在尺度2的时域融合步骤中，除了融合进行了一次下采样后的noisyt和fusedt-1，还可以融合尺度3中得到的上采样图像，以此类推。[0326]在尺度2的处理过程中，还可以进行去噪。在进行了时域融合得到尺度2融合图像之后，对该尺度2融合图像进行去噪，去噪过程与前述步骤三中的去噪过程类似，区别在于输入图像的尺度不相同，此处不再赘述。在进行去噪之后，对去噪后的图像进行逆小波变换，即相当于上采样，然后将逆小波变换得到的图像作为尺度1的去噪步骤的输入，得到去噪图像。[0327]类似地，在尺度2的去噪过程中，还可以对尺度3中去噪后进行了逆小波变换得到的图像进行去噪。以尺度1的去噪处理过程为例，输入可以包括尺度1中时域融合步骤输出的融合图像fusedt和尺度2中逆小波变换后输出的上采样去噪图像，可以将上采样去噪图像、fusedt和作为noisyt都作为去噪cnn的输入，输出去噪图像。相当于融合了上采样去噪图像、fusedt和作为noisyt，从而平滑了图像中的噪声，得到噪声更少的去噪图像。[0328]因此，在本技术实施方式中，可以对当前帧进行多次下采样，得到的多种尺度的图像，然后对多种尺度的图像进行迭代处理，每次迭代处理过程包括了时域融合步骤和去噪步骤，相当于对每种尺度的图像的处理都利用了视频数据中的相邻帧之间的相关性实现了去噪，在各个尺度都可以得到去噪效果更好的图像，提高了去噪效果，得到噪声更少、更清晰且鬼影更少的去噪图像。并且，在较低的分辨率下完成去噪，并且将去噪任务分离在多个特定的阶段中，可以极大地简化任务，从而最少的操作数量生成高质量输出。通过时域融合、空间去噪和精细化等特殊处理阶段，显著地利用了基于视频的时间、空间和时空维度的视频相关性。这种设计使得即使在极大降低复杂度的情况下几乎不损害最终输出的画质。[0329]前述对本技术提供的视频去噪方法的流程进行了详细介绍，下面基于前述的视频去噪方法的流程，对执行该流程的视频去噪装置的结构进行介绍。[0330]参阅图17，本技术提供的一种视频去噪装置的结构示意图，如下所述。[0331]获取模块1701，用于获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；[0332]时域融合模块1702，用于从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；[0333]时域融合模块1702，还用于根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；[0334]时域融合模块1702，还用于根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像；[0335]去噪模块1703，用于对第二融合图像进行去噪，得到去噪图像。[0336]在一种可能的实施方式中，视频去噪装置还可以包括：[0337]精细化模块1704，用于在对第二融合图像进行去噪之后，融合二融合图像和去噪图像，得到更新后的去噪图像。[0338]在一种可能的实施方式中，去噪模块1703，具体用于：从第二融合图像中提取特征，得到第三特征；从去噪图像中提取特征，得到第四特征；根据第三特征和第四特征确定第三融合权重和第四融合权重，第三融合权重为第三特征对应的权重，第四融合权重为第四特征对应的权重，其中，第三特征和第四特征中，每个像素点的频率和对应的权重值呈负相关关系；根据第三融合权重和第四融合权重，融合第三特征和第四特征，得到更新后的去噪图像。[0339]在一种可能的实施方式中，视频去噪装置还可以包括：去颜色相关变换模块1705，用于在从当前帧中提取特征以及从第一融合图像中提取特征之前，通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到；[0340]时域融合模块1702，具体用于从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。[0341]在一种可能的实施方式中，视频去噪装置还可以包括：[0342]逆颜色相关变换模块1706，用于在对第二融合图像进行去噪之后，通过逆颜色变换矩阵，对去噪图像进行颜色变换，得到更新后的去噪图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。[0343]在一种可能的实施方式中，视频去噪装置还可以包括：[0344]去频率相关变换模块1707，用于在时域融合模块1702从当前帧中提取特征以及从第一融合图像中提取特征之前，使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。[0345]在一种可能的实施方式中，视频去噪装置还可以包括：[0346]逆频率相关变换模块1708，用于在去噪模块1703对第二融合图像进行去噪之后，通过逆小波系数，对去噪图像进行逆小波变换，得到更新后的去噪图像，逆小波系数是小波系数的逆矩阵。[0347]在一种可能的实施方式中，时域融合模块1702，具体用于：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声，第一特征和第二特征确定当前帧对应的第一融合权重。[0348]在一种可能的实施方式中，时域融合模块1702，具体用于：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。[0349]在一种可能的实施方式中，去噪模块1703，具体用于：结合第一融合权重、第二融合权重、第一融合图像和当前帧，对第二融合图像进行去噪，得到去噪图像。[0350]在一种可能的实施方式中，去噪模块1703，具体用于：结合第一融合权重、第二融合权重、第一融合图像和当前帧，计算第二融合图像中每个像素点的方差，得到融合图方差；将融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像，该去噪模型用于去除输入的图像中的噪声。[0351]在一种可能的实施方式中，去噪模块1703，具体用于将当前帧、融合图方差和第二融合图像作为去噪模型的输入，输出去噪图像。[0352]在一种可能的实施方式中，视频去噪装置还可以包括：下采样模块1709；[0353]下采样模块1709，用于对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；[0354]去噪模块1703，还用于对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理，得到多尺度融合图像；[0355]去噪模块1703，还用于融合去噪图像和多尺度融合图像，得到更新后的去噪图像。[0356]在一种可能的实施方式中，去噪模块1703对至少一帧下采样帧和至少一帧下采样融合图像进行去噪处理的过程中任意一个去噪处理过程，可以包括：根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合；对第三下采样融合图像进行去噪，得到第一下采样去噪图像；对第一下采样去噪图像进行上采样，得到上采样去噪图像，上采样图像用于结合上采样图像尺度相同的融合图像进行去噪得到尺度大于第一下采样帧的图像。[0357]在一种可能的实施方式中，下采样模块1709，具体用于对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。[0358]本技术还提供的一种视频处理装置，用于执行前述图7a对应的方法步骤。参阅图18，本技术还提供的一种视频处理装置的结构示意图，如下所述。[0359]获取模块1801，用于获取当前帧和第一融合图像，当前帧是视频数据中按照预设顺序排列在的第一帧之后的任意一帧图像，第一融合图像包括视频数据中按照预设顺序与当前帧相邻的至少一帧的信息；[0360]时域融合模块1802，用于从当前帧中提取特征，得到第一特征，以及从第一融合图像中提取特征，得到第二特征；[0361]时域融合模块1802，还用于根据第一特征和第二特征确定得到第一融合权重和第二融合权重，第一融合权重包括当前帧对应的权重，第二融合权重包括第一融合图像对应的权重，当前帧中的前景对应的权重不小于第一融合图像中前景对应的权重，当前帧中的背景对应的权重不大于第一融合图像中背景对应的权重；[0362]时域融合模块1802，还用于根据第一融合权重和第二融合权重，融合当前帧和第一融合图像，得到第二融合图像。[0363]在一种可能的实施方式中，上述装置还可以包括：[0364]去颜色相关变换模块1803，用于在时域融合模块1802从当前帧中提取特征以及从第一融合图像中提取特征之前，通过颜色变换矩阵，对当前帧进行颜色变换，得到第一色度分量和第一亮度分量，第一色度分量和第一亮度分量组成新的当前帧，以及对第一融合图像进行颜色变换，得到第二色度分量和第二亮度分量，第二色度分量和第二亮度分量组成新的第一融合图像，颜色变换矩阵是预设矩阵或者对至少一个卷积核进行训练得到；[0365]时域融合模块1802，具体用于从新的当前帧中提取特征，得到第一特征，以及从新的第一融合图像中提取特征，得到第二特征。[0366]在一种可能的实施方式中，上述装置还可以包括：逆颜色相关变换模块1804，用于通过逆颜色变换矩阵，对第二融合图像进行颜色变换，得到更新后的第二融合图像，逆颜色变换矩阵是颜色变换矩阵的逆矩阵。[0367]在一种可能的实施方式中，上述装置还可以包括：去频率相关变换模块1805，用于在时域融合模块1802从当前帧中提取特征以及从第一融合图像中提取特征之前，使用小波系数，对当前帧进行小波变换，得到第一低频分量和第一高频分量，第一低频分量和第一高频分量组成新的当前帧，以及对第一融合图像进行小波变换，得到第二低频分量和第二高频分量，第二低频分量和第二高频分量组成新的第一融合图像，小波系数是预设系数或者对至少一个卷积核进行训练得到。[0368]在一种可能的实施方式中，上述装置还可以包括：逆频率相关变换模块1806，用于通过逆小波系数，对第二融合图像进行逆小波变换，得到更新后的第二融合图像，逆小波系数是小波系数的逆矩阵。[0369]在一种可能的实施方式中，时域融合模块1802，具体用于：根据拍摄视频数据所使用的设备的拍摄参数，计算散粒噪声和读取噪声；结合散粒噪声、读取噪声、第一特征和第二特征确定当前帧对应的第一融合权重。[0370]在一种可能的实施方式中，时域融合模块1802，具体用于：根据散粒噪声和读取噪声计算当前帧中每个像素点的噪声方差；从噪声方差中提取第五特征；结合第五特征，第一特征和第二特征确定当前帧对应的第一融合权重。[0371]在一种可能的实施方式中，上述装置还可以包括：下采样模块1807，用于对当前帧和第一融合图像进行至少一次下采样，得到至少一帧下采样帧和至少一帧下采样融合图像，且每次下采样得到的图像的尺度不相同，至少一个第一下采样图像是对当前帧进行至少一次下采样得到，至少一个第二下采样图像是对第一融合图像进行至少一次下采样得到；[0372]时域融合模块1802，还用于对至少一帧下采样帧中的每一帧和相同尺度的下采样融合图像进行融合，得到多尺度融合图像；[0373]时域融合模块1802，还用于融合第二融合图像和多尺度融合图像，得到更新后的第二融合图像。[0374]在一种可能的实施方式中，时域融合模块1802对至少一帧下采样帧中的任意一帧和相同尺度的下采样融合图像进行融合，可以包括：根据从第一下采样帧中提取到的特征和从第一下采样融合图像中提取到的特征，确定第一下采样帧对应的权重，得到第五融合权重，以及确定第一下采样融合图像对应的权重，得到第六融合权重，第一下采样帧是至少一帧下采样帧中的任意一帧，第一下采样融合图像是至少一帧下采样融合图像中尺度与第一下采样帧相同的一帧；根据从第二下采样融合图像中提取到的特征确定第二下采样融合图像对应的权重，得到第七融合权重，第二下采样融合图像中融合了至少一帧下采样帧中尺度小于第一下采样帧的图像的信息；根据第五融合权重、第六融合权重和第七融合权重融合第一下采样帧、第一下采样融合图像和第二下采样融合图像，得到第三下采样融合图像，第三下采样图像的上采样后的图像用于与至少一帧下采样帧中尺度大于第一下采样帧的图像融合。[0375]在一种可能的实施方式中，下采样模块1807，具体用于对当前帧和第一融合图像进行至少一次小波变换，得到至少一帧下采样帧和至少一帧下采样融合图像。[0376]请参阅图19，本技术提供的另一种视频去噪装置的结构示意图，如下所述。[0377]该视频去噪装置可以包括处理器1901和存储器1902。该处理器1901和存储器1902通过线路互联。其中，存储器1902中存储有程序指令和数据。[0378]存储器1902中存储了前述图4-图16中的步骤对应的程序指令以及数据。[0379]处理器1901用于执行前述图4-图16中任一实施例所示的视频去噪装置执行的方法步骤。[0380]可选地，该视频去噪装置还可以包括收发器1903，用于接收或者发送数据。[0381]本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于生成车辆行驶速度的程序，当其在计算机上行驶时，使得计算机执行如前述图4-图14所示实施例描述的方法中的步骤。[0382]可选地，前述的图19中所示的视频去噪装置为芯片。[0383]请参阅图20，本技术提供的另一种视频处理装置的结构示意图，如下所述。[0384]该视频处理装置可以包括处理器2001和存储器2002。该处理器2001和存储器2002通过线路互联。其中，存储器2002中存储有程序指令和数据。[0385]存储器2002中存储了前述图7a中的步骤对应的程序指令以及数据。[0386]处理器2001用于执行前述图7a中任一实施例所示的视频处理装置执行的方法步骤。[0387]可选地，该视频处理装置还可以包括收发器2003，用于接收或者发送数据。[0388]本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于生成车辆行驶速度的程序，当其在计算机上行驶时，使得计算机执行如前述图7a所示实施例描述的方法中的步骤。[0389]可选地，前述的图20中所示的视频处理装置为芯片。[0390]本技术实施例还提供了一种视频去噪装置，该视频去噪装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行前述图4-图14中任一实施例所示的视频去噪装置执行的方法步骤。[0391]本技术实施例还提供了一种视频处理装置，该视频处理装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行前述图7a中任一实施例所示的视频处理装置执行的方法步骤。[0392]本技术实施例还提供一种数字处理芯片。该数字处理芯片中集成了用于实现上述处理器1901/2001，或者处理器1901/2001的功能的电路和一个或者多个接口。当该数字处理芯片中集成了存储器时，该数字处理芯片可以完成前述实施例中的任一个或多个实施例的方法步骤。当该数字处理芯片中未集成存储器时，可以通过通信接口与外置的存储器连接。该数字处理芯片根据外置的存储器中存储的程序代码来实现上述实施例中视频去噪装置或者视频处理装置执行的动作。[0393]本技术实施例中还提供一种包括计算机程序产品，当其在计算机上行驶时，使得计算机执行如前述图4-图16所示实施例描述的方法中视频去噪装置或者视频处理装置所执行的步骤。[0394]本技术实施例提供的视频去噪装置或者视频处理装置可以为芯片，该芯片可以包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使服务器内的芯片执行上述图4-图16所示实施例描述的视频去噪方法或视频处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-onlymemory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(randomaccessmemory，ram)等。[0395]具体地，前述的处理单元或者处理器可以是中央处理器(centralprocessingunit，cpu)、网络处理器(neural-networkprocessingunit，npu)、图形处理器(graphicsprocessingunit，gpu)、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)或现场可编程逻辑门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者也可以是任何常规的处理器等。[0396]示例性地，请参阅图21，图21为本技术实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器npu210，npu210作为协处理器挂载到主cpu(hostcpu)上，由hostcpu分配任务。npu的核心部分为运算电路2103，通过控制器2104控制运算电路2103提取存储器中的矩阵数据并进行乘法运算。[0397]在一些实现中，运算电路2103内部包括多个处理单元(processengine,pe)。在一些实现中，运算电路2103是二维脉动阵列。运算电路2103还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2103是通用的矩阵处理器。[0398]举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器2102中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器2101中取矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2108中。[0399]统一存储器2106用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(directmemoryaccesscontroller，dmac)2105，dmac被搬运到权重存储器2102中。输入数据也通过dmac被搬运到统一存储器2106中。[0400]总线接口单元(businterfaceunit，biu)2110，用于axi总线与dmac和取指存储器(instructionfetchbuffer，ifb)2109的交互。[0401]总线接口单元2110(businterfaceunit，biu)，用于取指存储器2109从外部存储器获取指令，还用于存储单元访问控制器2105从外部存储器获取输入矩阵a或者权重矩阵b的原数据。[0402]dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器2106或将权重数据搬运到权重存储器2102中或将输入数据数据搬运到输入存储器2101中。[0403]向量计算单元2107包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如批归一化(batchnormalization)，像素级求和，对特征平面进行上采样等。[0404]在一些实现中，向量计算单元2107能将经处理的输出的向量存储到统一存储器2106。例如，向量计算单元2107可以将线性函数和/或非线性函数应用到运算电路2103的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2107生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2103的激活输入，例如用于在神经网络中的后续层中的使用。[0405]控制器2104连接的取指存储器(instructionfetchbuffer)2109，用于存储控制器2104使用的指令；[0406]统一存储器2106，输入存储器2101，权重存储器2102以及取指存储器2109均为on-chip存储器。外部存储器私有于该npu硬件架构。[0407]其中，循环神经网络中各层的运算可以由运算电路2103或向量计算单元2107执行。[0408]其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述图4-图16的方法的程序执行的集成电路。[0409]另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。[0410]通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(readonlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。[0411]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。[0412]所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。[0413]本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0414]最后应说明的是：以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域：的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。当前第1页12









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!