图像处理方法、装置和电子设备与流程 专利技术说明

电子通信装置的制造及其应用技术1.本技术涉及图像处理技术领域，特别涉及一种图像处理方法、装置和电子设备。背景技术：2.随着手机等电子设备的发展，用户对于通过电子设备拍摄获取高质量的图片和视频内容的需求越高。但是受限于成本、功耗和尺寸等因素，电子设备上的图像传感器往往只能依赖特定滤光阵列(color filter array,cfa)来获取有限的图像信息。因此需要设计针对cfa的插值算法来恢复出高质量的图像。常见的cfa采用拜耳模式的排布方式，由红(r)、绿(g)以及蓝(b)的特定波长的三种类型的滤色器构成。但是采用拜耳模式cfa对应的图像传感器的信噪比较低，因此，越来越多的图像传感器在cfa中加入白像素(w)滤色器，由于白像素可以广泛地透射可见光，从而可以增加进光量、提高信噪比及提升灵敏度。3.然而，目前针对加入w的cfa的图像进行去马赛克处理，最终得到的彩色图像容易产生伪彩色和拉链噪声。技术实现要素：4.一种图像处理方法、装置和电子设备，能够改善针对加入w的cfa的图像进行去马赛克处理，所得到的彩色图像容易产生伪彩色和拉链噪声的问题。5.第一方面，提供一种图像处理方法，包括：获取来自于图像传感器的图像，图像包括呈多行多列排布的多个重复单元，每个重复单元包括呈2行2列排布的四个像素块，每个像素块包括呈m行n列排布的子像素块，m≥1，n≥1，每个子像素块包括沿第一对角线方向排列的两个白色像素和沿第二对角线方向排列的两个彩色像素，四个像素块中沿第一对角线方向排列的两个像素块中的彩色像素均为绿色像素，四个像素块中沿第二对角线方向排列的两个像素块中的彩色像素分别为蓝色像素和红色像素；将图像中每个子像素块中的两个彩色像素合并为彩色通道像素，并将图像中每个子像素块中的两个白色像素合并为白色通道像素；将图像拆分为白色通道图像和彩色通道图像，白色通道图像包括所有的白色通道像素，彩色通道图像包括所有的彩色通道像素；对白色通道图像进行校正得到白色通道校正图像；对白色通道图像进行校正包括：增加白色通道图像中至少部分白色通道像素在第一对角线方向上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向上的锐利度；将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像。6.在一种可能的实施方式中，增加白色通道图像中至少部分白色通道像素在第一对角线方向上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向上的锐利度的过程包括：对于白色通道图像中的每个白色通道像素，计算在第一对角线方向上的第一梯度和在第二对角线方向上的第二梯度；对于第一梯度和第二梯度的比值满足预设条件的白色通道像素，若第一梯度小于第二梯度，则进行模糊校正处理，若第一梯度大于第二梯度，则进行锐化校正处理。7.在一种可能的实施方式中，第一梯度为以当前白色通道像素为中心的邻域中，在第一对角线方向上每相邻两个白色通道像素差值的绝对值之和；第二梯度为以当前白色通道像素为中心的邻域中，在第二对角线方向上每相邻两个白色通道像素差值的绝对值之和。8.在一种可能的实施方式中，邻域为呈5行5列排布的白色通道像素。9.在一种可能的实施方式中，第一梯度和第二梯度的比值满足预设条件为：第一比值与第二比值的最大值大于第一预设值，第一比值为第一梯度与第二梯度的比值，第二比值为第二梯度与第一梯度的比值。10.在一种可能的实施方式中，第一预设值大于5且小于8。11.在一种可能的实施方式中，对于第一梯度和第二梯度的比值满足预设条件的白色通道像素，若第一梯度小于第二梯度，则进行模糊校正处理，若第一梯度大于第二梯度，则进行锐化校正处理的过程包括：对于当前白色通道像素，若第一比值与第二比值的最大值大于第一预设值，且第一梯度不等于第二梯度，则根据以下公式修改当前白色通道像素的像素值：w′1＝w1+β(w6+w8-w2-w4)；其中，w′1为修改后的当前白色通道像素的像素值，w1为修改前的当前白色通道像素的像素值，w2和w4为在第一对角线方向上与当前白色通道像素相邻且分别位于当前白色通道像素两侧的白色通道像素的像素值，w6和w8为在第二对角线方向上与当前白色通道像素相邻且分别位于当前白色通道像素两侧的白色通道像素的像素值，0《β《1。12.在一种可能的实施方式中，0.3《β《0.6。13.在一种可能的实施方式中，在将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像的过程之前，还包括：对于修改后的当前白色通道像素，若第三比值与第四比值的最大值大于第二预设值，则将当前白色通道像素的像素值恢复为w1，第三比值为w′1与w1的比值，第四比值为w1与w′1的比值。14.在一种可能的实施方式中，第二预设值大于1.4且小于1.6。15.第二方面，提供一种图像处理装置，包括：图像获取单元，用于获取来自于图像传感器的图像，图像包括呈多行多列排布的多个重复单元，每个重复单元包括呈2行2列排布的四个像素块，每个像素块包括呈m行n列排布的子像素块，m≥1，n≥1，每个子像素块包括沿第一对角线方向排列的两个白色像素和沿第二对角线方向排列的两个彩色像素，四个像素块中沿第一对角线方向排列的两个像素块中的彩色像素均为绿色像素，四个像素块中沿第二对角线方向排列的两个像素块中的彩色像素分别为蓝色像素和红色像素；合并单元，用于将图像中每个子像素块中的两个彩色像素合并为彩色通道像素，并将图像中每个子像素块中的两个白色像素合并为白色通道像素；拆分单元，用于将图像拆分为白色通道图像和彩色通道图像，白色通道图像包括所有的白色通道像素，彩色通道图像包括所有的彩色通道像素；校正单元，用于对白色通道图像进行校正得到白色通道校正图像；对白色通道图像进行校正包括：增加白色通道图像中至少部分白色通道像素在第一对角线方向上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向上的锐利度；融合单元，用于将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像。16.第三方面，提供一种图像处理装置，包括：处理器和存储器，存储器用于存储至少一条指令，指令由处理器加载并执行时以实现上述的图像处理方法。17.第四方面，提供一种电子设备，包括上述的图像处理装置。18.本技术实施例中的图像处理方法、装置和电子设备，针对采用rgbw排布的cfa的图像传感器的图像，基于对角像素合并的方式将图像拆分为白色通道图像和彩色通道图像，然后对白色通道图像进行校正，以提高白色通道像素和彩色通道像素在对角线方向上的一致性，然后基于校正后的图像进行图像融合，从而减少了由于白色通道像素和彩色通道像素在对角线方向上一致性较差而产生的伪彩色和拉链噪声；因为融合后的图像缺陷主要存在于白色通道像素和彩色通道像素一致性更差的对角线方向上，而其它的水平或者竖直边界、条纹区域，平坦区域则没有明显缺陷，所以本技术实施例的图像校正过程可以只针对对角线方向，且只依赖对角合并下采样所得到的一种类型的通道，整体算法复杂度较差值算法降低，实时性好，可以应用于视频图像的处理。附图说明19.图1为一种采用拜耳模式的cfa结构对应的图像的最小重复单元的示意图；20.图2为一种采用hexa-deca rgbw模式的cfa对应的图像的最小重复单元的示意图；21.图3为本技术实施例中一种图像处理方法的流程示意图；22.图4为图3对应的图像的像素变化示意图；23.图5为本技术实施例中另一种图像的最小重复单元示意图；24.图6为本技术实施例中另一种图像的最小重复单元示意图；25.图7为本技术实施例中一种图像的多个最小重复单元排布示意图；26.图8为本技术实施例中一种图像处理方法的白色通道校正过程的示意图；27.图9为本技术实施例中一种当前白色通道像素为中心的5*5的邻域示意图；28.图10为本技术实施例中另一种图像处理方法的白色通道校正过程的示意图；29.图11为本技术实施例中一种图像处理装置的结构框图。具体实施方式30.本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非旨在限定本技术。31.在对本技术实施例进行说明之前，首先对相关技术进行介绍，如图1所示，图1为采用拜耳模式的cfa结构对应的图像的最小重复单元，该最小重复单元可称为一个像素，伴随着图像传感器的小型化的发展，且拜耳模式的cfa每一个像素只能头透过特定波长的入射光，所以拜耳模式cfa对应的图像传感器的信噪比低。因此出现了例如图2所示的加入w的cfa，图2为采用hexa-deca rgbw模式的cfa对应的图像的最小重复单元，由于rgbw模式中r、g、b分量的采样率下降为拜尔模式的一半，所以必须充分利用w分量的信息来融合或引导生成最终的彩色图像。但是由于w分量和r、g、b彩色分量位于不同的采样点，所以直接利用w分量进行引导融合容易产生伪彩色和拉链噪声，因此提供了本技术实施例的技术方案，以解决上述技术问题，以下对本技术实施例的技术方案进行说明。32.如图3和图4所示，本技术实施例提供一种图像处理方法，包括：33.步骤101、获取来自于图像传感器的图像，图像包括呈多行多列排布的多个重复单元，该图像的重复单元例如如图2所示，每个重复单元包括呈2行2列排布的四个像素块，每个像素块包括呈m行n列排布的子像素块，m≥1，n≥1，例如图2中m＝n＝2，每个子像素块包括沿第一对角线方向a1排列的两个白色像素w和沿第二对角线方向a2排列的两个彩色像素，第一对角线方向a1和第二对角线方向a2为相互垂直的两个对角线方向，例如，第一对角线方向a1为行方向逆时针旋转45°的方向，第二对角线方向a2为行方向逆时针旋转135°的方向，四个像素块中沿第一对角线方向a1排列的两个像素块中的彩色像素均为绿色像素g，四个像素块中沿第二对角线方向a2排列的两个像素块中的彩色像素分别为蓝色像素b和红色像素r，也就是说，图2中最小尺寸的矩形框为像素，呈2行2列排布的相邻的四个像素组成一个子像素块，左上角的呈2行2列排布的相邻的四个子像素块组成一个像素块，左上角的这个像素块由白色像素w和蓝色像素b组成，右上角的呈2行2列排布的相邻的四个子像素块组成一个像素块，右上角的这个像素块由白色像素w和绿色像素g组成，右下角的呈2行2列排布的相邻，右下角的这个像素块由白色像素w和红色像素r组成，左下角的呈2行2列排布的相邻的四个子像素块组成一个像素块，左下角这个像素块由白色像素w和绿色像素g组成，该重复单元由8行8列像素构成，其中每个像素块由4行4列像素构成，每个子像素块由2行2列像素构成，在行方向和列方向上，任意相邻的两个像素分别为白色像素和彩色像素，需要说明的是，图2所示的重复单元中像素排布仅为举例，在其他可能的实施方式中，可以有其他像素排布方式，例如，图5为另一种像素排布的重复单元，可见，图5所示的结构为图2所示结构在行方向上镜像翻转后的结构，又例如，图6为另一种像素排布的重复单元，可见，图6所示的结构为图2所示结构中每个像素块增加1行1列子像素块后的结构，但是，本技术实施例中后续内容均以图2所示结构为例进行说明，另外需要说明的是，无论是图2、图5还是图6，均仅示意了一个重复单元中像素的排布，通过图像传感器获取的图像是由多个重复单元沿行列排布形成，例如图7示意了图像中四个重复单元的排布结构；34.步骤102、将图像中每个子像素块中的两个彩色像素合并为彩色通道像素，并将图像中每个子像素块中的两个白色像素合并为白色通道像素，也就是说，将每个子像素块中的对角像素进行合并binning，例如图2所示的结构中，重复单元由8行8列像素组成，在将每个子像素块中的对角像素合并之后，可以形成例如4行8列像素组成的图像；35.步骤103、将图像拆分为白色通道图像和彩色通道图像，白色通道图像包括所有的白色通道像素w，彩色通道图像包括所有的彩色通道像素r、g、b，白色通道图像和彩色通道图像的分辨率均为原图像分辨率的一半，以便于后续操作；36.步骤104、对白色通道图像进行校正得到白色通道校正图像；37.对白色通道图像进行校正包括：增加白色通道图像中至少部分白色通道像素w在第一对角线方向a1上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素w在第二对角线方向a2上的锐利度；38.步骤105、将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像，其中，图像融合的过程可以利用色差或者色比等通道间的关系进行融合得到最后的r、g、b彩色图像。39.具体地，本技术实施例的图像来自于采用hexa-deca rgbw模式cfa的图像处理器，由于其中的白色像素和彩色像素分别位于不同的位置，且在步骤102中，通过对角像素合并的方式在两个方向上分别对白色像素和彩色像素进行合并，这样，可能会导致白色像素和彩色像素在不同对角线方向上的一致性差异较大，因此，在步骤104中，对于白色通道图像中的至少一个白色通道像素w，基于对角线方向对白色通道像素w进行像素值校正，根据图2可以看出，在第一对角线方向a1上白色像素相较于彩色像素更加锐利，而在第二对角线方向a2上白色像素相较于彩色像素更加平滑，因此，在步骤104中，对于白色通道像素w，在第一对角线方向a1上的模糊处理以及在第二对角线方向a2上的锐化处理可以使校正后的白色通道像素w与彩色通道像素在对角线方向上具有更高的一致性，这样，在后续的步骤105中，对白色通道校正图像和彩色通道图像进行图像融合时，可以减少由于白色通道像素和彩色通道像素在对角线方向上一致性较差而产生的伪彩色和拉链噪声。40.也就是说，在本技术实施例中，对来自于采用rgbw排布的cfa的图像传感器的图像，基于对角像素合并的方式，将白色像素合并为白色通道像素、将彩色像素合并为彩色通道像素，并将图像拆分为由白色通道像素组成的白色通道图像、由彩色通道像素组成的彩色通道图像，然后对白色通道图像进行校正，以使校正后，提高了白色通道像素和彩色通道像素在对角线方向上的一致性，之后进行图像融合。41.本技术实施例中的图像处理方法，针对采用rgbw排布的cfa的图像传感器的图像，基于对角像素合并的方式将图像拆分为白色通道图像和彩色通道图像，然后对白色通道图像进行校正，以提高白色通道像素和彩色通道像素在对角线方向上的一致性，然后基于校正后的图像进行图像融合，从而减少了由于白色通道像素和彩色通道像素在对角线方向上一致性较差而产生的伪彩色和拉链噪声；因为融合后的图像缺陷主要存在于白色通道像素和彩色通道像素一致性更差的对角线方向上，而其它的水平或者竖直边界、条纹区域，平坦区域则没有明显缺陷，所以本技术实施例的图像校正过程可以只针对对角线方向，且只依赖对角合并下采样所得到的一种类型的通道，整体算法复杂度较差值算法降低，实时性好，可以应用于视频图像的处理。42.在一种可能的实施方式中，如图8所示，上述步骤104中，增加白色通道图像中至少部分白色通道像素在第一对角线方向a1上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向a2上的锐利度的过程包括：43.步骤1041、对于白色通道图像中的每个白色通道像素，计算在第一对角线方向a1上的第一梯度g1和在第二对角线方向a2上的第二梯度g2；44.步骤1042、对于当前白色通道像素，判断第一梯度g1和第二梯度g2的比值是否满足预设条件，若是，则进入步骤1043，若否，则进入步骤1044、保持当前白色通道像素的像素值不变，然后基于下一个白色通道像素执行步骤1042，直到白色通道图像中的所有白色通道像素处理完成，即得到白色通道校正图像；45.步骤1043、判断第一梯度g1和第二梯度g2的大小关系，若第一梯度g1小于第二梯度g2，则进入步骤1045、进行模糊校正处理，然后基于下一个白色通道像素执行步骤1042，直到白色通道图像中的所有白色通道像素处理完成，即得到白色通道校正图像，若第一梯度g1大于第二梯度g2，则进入步骤1046、进行锐化校正处理，然后基于下一个白色通道像素执行步骤1042，直到白色通道图像中的所有白色通道像素处理完成，即得到白色通道校正图像，若第一梯度g1等于第二梯度g2，则进入步骤1044，也就是说，对于第一梯度g1和第二梯度g2的比值满足预设条件的白色通道像素，若第一梯度小于第二梯度，则进行模糊校正处理，若第一梯度大于第二梯度，则进行锐化校正处理。46.在一种可能的实施方式中，第一梯度g1为以当前白色通道像素为中心的邻域中，在第一对角线方向a1上每相邻两个白色通道像素差值的绝对值之和；第二梯度g2为以当前白色通道像素为中心的邻域中，在第二对角线方向a2上每相邻两个白色通道像素差值的绝对值之和。邻域例如为呈5行5列排布的白色通道像素。47.具体地，例如，对于每一个白色通道像素，均执行步骤1042，以实现上述的校正过程，其中，对于每一个白色通道像素，将其作为当前白色通道像素，并确定当前白色通道像素为中心的5*5的邻域，如图9所示，图9为当前白色通道像素为中心的5*5的邻域示意图，其中示意了5行5列白色通道像素，中心位置的白色通道像素为当前白色通道像素w1，第一对角线方向a1上的白色通道像素依次分别为w5、w4、w1、w2和w3，第二对角线方向a2上的白色通道像素依次分别为w9、w8、w1、w6和w7，w1对应的第一梯度g1和第二梯度g2可以基于以下公式计算：48.g1＝abs(w1-w2)+abs(w1-w4)+abs(w2-w3)+abs(w4-w5)ꢀꢀꢀꢀꢀꢀꢀꢀꢀ(1)49.g2＝abs(w1-w6)+abs(w1-w8)+abs(w6-w7)+abs(w8-w9)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(2)50.abs为绝对值计算符号，w1、w2、w3、w4、w5、w6、w7、w8、w9分别为w1、w2、w3、w4、w5、w6、w7、w8和w9对应的像素值。图9所示的结构为拆分后的白色通道图像的一部分。另外，对于白色通道图像边缘的白色通道像素，可能无法组成以其作为中心的5*5的邻域，对于这种情况，一种处理方式是，在计算第一梯度g1和第二梯度g2之前，例如在步骤1042之前，基于预设的规则在白色通道图像的左侧、右侧、下侧和上侧各增加两行用于计算的白色通道像素，这样，原本位于图像边缘的白色通道像素，也可以通过上述方法计算器对应的梯度。51.在一种可能的实施方式中，如图10所示，第一梯度g1和第二梯度g2的比值满足预设条件为：第一比值d1与第二比值d2的最大值α大于第一预设值第一比值d1为第一梯度g1与第二梯度g2的比值，第二比值d2为第二梯度g2与第一梯度g1的比值。也就是说，在步骤1042中，通过以下公式计算α：[0052][0053]其中，max表示取最大值的计算符号。然后判断α是否大于第一预设值β，根据判断结果执行后续步骤，α大于表示满足预设条件，α不大于表示满足不预设条件。[0054]在一种可能的实施方式中，第一预设值大于5且小于8。[0055]在一种可能的实施方式中，对于第一梯度g1和第二梯度g2的比值满足预设条件的白色通道像素，若第一梯度g1小于第二梯度g2，则进行模糊校正处理，若第一梯度g1大于第二梯度g2，则进行锐化校正处理的过程包括：对于当前白色通道像素w1，若第一比值d1与第二比值d2的最大值α大于第一预设值且第一梯度g1不等于第二梯度g2，则进入步骤201、根据以下公式修改当前白色通道像素w1的像素值：w′1＝w1+β(w6+w8-w2-w4)；其中，w′1为修改后的当前白色通道像素w1的像素值，w1为修改前的当前白色通道像素w1的像素值，w2和w4为在第一对角线方向a1上与当前白色通道像素w1相邻且分别位于当前白色通道像素w1两侧的白色通道像素的像素值，例如w2和w4分别为图9中w2和w4对应的像素值，w6和w8为在第二对角线方向a2上与当前白色通道像素w1相邻且分别位于当前白色通道像素w1两侧的白色通道像素的像素值，例如w6和w8分别为图9中w6和w8对应的像素值，0《β《1。[0056]具体地，w′1的计算公式是通过下述公式得到的：[0057]g1＝2w1-w2-w4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(4)[0058]g2＝2w1-w6-w8ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)[0059]w′1＝w1+β(g1-g2)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(6)[0060]如果当前白色通道像素w1对应的g1＜g2，则计算得到的g1可以忽略不计，w′1＝w1+β(g1-g2)即可以理解为通过减去g2与β之积以达到模糊的效果，如果g1＞g2，则计算得到的g2可以忽略不计，w′1＝w1+β(g1-g2)即可以理解为通过加上g1与β之积以达到锐化的效果。[0061]在一种可能的实施方式中，0.3《β《0.6。[0062]在一种可能的实施方式中，为了增强图像处理方法的鲁棒性，可以通过下面的方法来判断修改后的白色通道像素的像素值是否偏离过大，对于偏离过大的像素，说明其修改异常，则舍弃修改，恢复为修改之前的像素值。具体地，在将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像的过程之前，还包括：对于修改后的当前白色通道像素，通过以下公式计算第三比值d3与第四比值d4的最大值γ：[0063][0064]其中，第三比值d3为w′1与w1的比值，第四比值d4为w1与w′1的比值，在步骤201之后，进入步骤202、判断第三比值d3与第四比值d4的最大值γ是否大于第二预设值θ，若是，即若第三比值d3与第四比值d4的最大值γ大于第二预设值θ，说明修改后的当前白色通道像素w1的像素值偏离过大，则进入步骤203、将当前白色通道像素w1的像素值恢复为w1，然后进入下一个白色通道像素的处理直到所有白色通道像素处理完成，若否，即若第三比值d3与第四比值d4的最大值γ不大于第二预设值θ，说明修改后的当前白色通道像素w1的像素值没有异常，则保持当前白色通道像素w1的像素值为w′1，并进入下一个白色通道像素的处理直到所有白色通道像素处理完成。[0065]在一种可能的实施方式中，第二预设值θ大于1.4且小于1.6。[0066]另外需要说明的是，上述实施例中给出了基于对角线梯度具体进行像素值校正的方法，除此之外，也可以通过其他算法来进行像素值校正，例如基于机器学习的方法进行像素值校正，只要能够提高白色通道像素和彩色通道像素在对角线方向上的一致性即可。[0067]如图11所示，本技术实施例还提供一种图像处理装置，包括：图像获取单元1，用于获取来自于图像传感器的图像，图像包括呈多行多列排布的多个重复单元，每个重复单元包括呈2行2列排布的四个像素块，每个像素块包括呈m行n列排布的子像素块，m≥1，n≥1，每个子像素块包括沿第一对角线方向排列的两个白色像素和沿第二对角线方向排列的两个彩色像素，四个像素块中沿第一对角线方向排列的两个像素块中的彩色像素均为绿色像素，四个像素块中沿第二对角线方向排列的两个像素块中的彩色像素分别为蓝色像素和红色像素；合并单元2，用于将图像中每个子像素块中的两个彩色像素合并为彩色通道像素，并将图像中每个子像素块中的两个白色像素合并为白色通道像素；拆分单元3，用于将图像拆分为白色通道图像和彩色通道图像，白色通道图像包括所有的白色通道像素，彩色通道图像包括所有的彩色通道像素；校正单元4，用于对白色通道图像进行校正得到白色通道校正图像；对白色通道图像进行校正包括：增加白色通道图像中至少部分白色通道像素在第一对角线方向上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向上的锐利度；融合单元5，用于将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像。[0068]该图像处理装置可以应用上述任意实施例中的图像处理方法，具体过程和原理与上述实施例相同，在此不再赘述。[0069]应理解以上图像处理装置的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，图像获取单元、合并单元、拆分单元、校正单元和融合单元中的任意一者可以为单独设立的处理元件，也可以集成在图像处理装置中，例如集成在图像处理装置的某一个芯片中实现，此外，也可以以程序的形式存储于图像处理装置的存储器中，由图像处理装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。[0070]例如，图像获取单元、合并单元、拆分单元、校正单元和融合单元这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个微处理器(digital singnal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，cpu)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。[0071]在一种可能的实施方式中，增加白色通道图像中至少部分白色通道像素在第一对角线方向上的模糊度，和/或，降低白色通道图像中至少部分白色通道像素在第二对角线方向上的锐利度的过程包括：对于白色通道图像中的每个白色通道像素，计算在第一对角线方向上的第一梯度和在第二对角线方向上的第二梯度；对于第一梯度和第二梯度的比值满足预设条件的白色通道像素，若第一梯度小于第二梯度，则进行模糊校正处理，若第一梯度大于第二梯度，则进行锐化校正处理。[0072]在一种可能的实施方式中，第一梯度为以当前白色通道像素为中心的邻域中，在第一对角线方向上每相邻两个白色通道像素差值的绝对值之和；第二梯度为以当前白色通道像素为中心的邻域中，在第二对角线方向上每相邻两个白色通道像素差值的绝对值之和。[0073]在一种可能的实施方式中，邻域为呈5行5列排布的白色通道像素。[0074]在一种可能的实施方式中，第一梯度和第二梯度的比值满足预设条件为：第一比值与第二比值的最大值大于第一预设值，第一比值为第一梯度与第二梯度的比值，第二比值为第二梯度与第一梯度的比值。[0075]在一种可能的实施方式中，第一预设值大于5且小于8。[0076]在一种可能的实施方式中，对于第一梯度和第二梯度的比值满足预设条件的白色通道像素，若第一梯度小于第二梯度，则进行模糊校正处理，若第一梯度大于第二梯度，则进行锐化校正处理的过程包括：对于当前白色通道像素，若第一比值与第二比值的最大值大于第一预设值，且第一梯度不等于第二梯度，则根据以下公式修改当前白色通道像素的像素值：w′1＝w1+β(w6+w8-w2-w4)；其中，w′1为修改后的当前白色通道像素的像素值，w1为修改前的当前白色通道像素的像素值，w2和w4为在第一对角线方向上与当前白色通道像素相邻且分别位于当前白色通道像素两侧的白色通道像素的像素值，w6和w8为在第二对角线方向上与当前白色通道像素相邻且分别位于当前白色通道像素两侧的白色通道像素的像素值，0《β《1。[0077]在一种可能的实施方式中，0.3《β《0.6。[0078]在一种可能的实施方式中，在将白色通道校正图像和彩色通道图像进行图像融合，得到去马赛克后的图像的过程之前，还包括：对于修改后的当前白色通道像素，若第三比值与第四比值的最大值大于第二预设值，则将当前白色通道像素的像素值恢复为w1，第三比值为w′1与w1的比值，第四比值为w1与w′1的比值。[0079]在一种可能的实施方式中，第二预设值大于1.4且小于1.6。[0080]本技术实施例还提供一种图像处理装置，包括：处理器和存储器，存储器用于存储至少一条指令，指令由处理器加载并执行时以实现上述任意实施例的图像处理方法。[0081]处理器的数量可以为一个或多个，例如：处理器可以包括图像信号处理器(image signal processor，isp)。处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本技术实施例中的图像处理装置对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述任意方法实施例中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；以及必要数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。[0082]本技术实施例还提供一种电子设备，包括上述的图像处理装置。本技术所涉及的电子设备可能为手机、平板电脑、个人计算机(personal computer，pc)、个人数字助理(personal digital assistant，pda)、智能手表、可穿戴电子设备、增强现实技术(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、车载设备、无人机设备、智能汽车、智能音响、机器人、智能眼镜等等任意产品。[0083]本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述任意实施例中的图像处理方法。[0084]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk)等。[0085]本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。[0086]以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!