一种图像处理方法及装置与流程

计算;推算;计数设备的制造及其应用技术1.本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、计算设备及计算机可读存储介质。背景技术：2.图像超分辨率，指由低分辨率图像获取对应高分辨率图像的过程。色彩增强，通常指色域扩展或指面向主观的调色，即由窄色域到宽色域的映射过程，或对色彩表现欠佳的图像进行色彩修正，提升图像色彩的主观感受。分辨率和色彩均是高分辨率显示图像时影响视觉主观体验的重要因素。3.目前相关算法常把图像超分辨率处理和图像色彩增强当作单独问题分别处理，如此对同一幅图像进行处理时会出现得到的超分辨率图像和色彩增强图像出现差异，从而不能很好的契合的问题。同时，分别处理的过程会耗费大量的计算资源，不利于图像处理效率的提高。4.综上，目前亟需一种图像处理方法，用以解决现有图像超分辨率处理和色彩增强不能同时进行处理且处理效率低的问题。技术实现要素：5.本发明实施例提供一种图像处理方法，用以解决现有图像超分辨率处理和色彩增强不能同时进行处理且处理效率低的问题。6.本发明实施例提供一种图像处理方法，包括：7.通过卷积神经网络对第一图像进行处理，得到所述第一图像的全局语义信息图；8.基于所述全局语义信息图，对所述第一图像的灰度图进行放大处理，得到第一重建图像；9.基于所述全局语义信息图，对所述第一图像的色度图进行色彩增强处理，得到第二重建图像；10.将所述第一重建图像和所述第二重建图像进行融合处理，得到第二图像。11.由于图像的空间分辨率与色彩存在差异与相关性，因此本发明实施例提出将图像超分辨率与色彩增强同时采用同一轻量化网络进行处理。具体为在同一空间中，对图像的灰度图进行放大处理得到第一重建图像，并对图像的色度图进行色彩重建得到第二重建图像，如此再将得到的第一重建图像和第二重建图像进行融合，得到第二图像。如此使第二图像相较于第一图像，在超分辨率方面和色彩增强方面进行了同步的重建，第一重建图像和第二重建图像契合度更高，因而提高了第二图像的质量。此外，使用了第一图像的全局语义信息对超分辨率处理和色彩增强处理进行了指导，不仅提高了重建图像的质量，同时复用全局语义信息也节约了计算资源。12.可选地，基于所述全局语义信息图，对所述第一图像的色度图进行色彩增强处理，得到第二重建图像，包括：13.通过所述全局语义信息图确定所述第一图像的色彩控制因子；14.将所述全局语义信息图与所述第一图像的色度图进行融合卷积处理，得到色度输出图；15.基于所述色彩控制因子调整所述色度输出图，得到所述第二重建图像。16.由于不同的第一图像的色彩饱和度存在差异，因此在对不同的第一图像进行色彩增强的处理时需要考虑到不同图像的饱和度差异。通过第一图像的全局语义信息图确定其对应的色彩控制因子，并将色彩控制因子用于调整色度输出图，从而可以针对性地对色彩增强程度进行控制。17.可选地，所述方法还包括：18.对所述第一图像的色度图进行上采样处理，得到色度增强图；19.基于所述色彩控制因子调整所述色度输出图，得到所述第二重建图像，包括：20.基于所述色彩控制因子调整所述色度输出图和所述色度增强图，得到所述第二重建图像。21.通过对第一图像的色度图上采样处理后得到色度增强图，色度增强图的饱和度会用于指导第二重建图像的生成。如此得到的第二重建图像会考虑到第一图像原本的饱和度，因而针对性地进行色彩增强。22.可选地，将所述全局语义信息图与所述第一图像的色度图进行融合卷积处理，得到色度输出图，包括：23.将所述全局语义信息图与所述第一图像的色度图合并后，经空洞卷积处理后进行像素混排，得到色度输出图。24.全局语义信息图用于指导对第一图像的色彩增强处理，将全局语义信息图与第一图像的色度图合并后通过空洞卷积处理，降低计算量的同时还能获得较大的感受野，如此可以增强色彩增强的处理效果。再经过像素混排，可以将色彩增强后的图像进行放大，如此得到的色度输出图的分辨率和清晰度与第一重建图像相当，那么第一重建图像的分辨率和清晰度也与第一重建图像相当，二者融合可以增强图像处理质量。25.可选地，通过卷积神经网络对第一图像进行处理，得到所述第一图像的全局语义信息图，包括：26.将所述第一图像通过编码器单元进行卷积计算，得到第一编码图像；27.将所述第一编码图像进行放大处理，得到所述第一图像的全局语义信息图。28.通过编码器单元进行卷积计算，在计算的同时，图像分辨率降低，因而可以获得更大的感受野，提高全局语义信息提取的精确度。在得到第一编码图像后，再通过上采样处理，可以使之前降低的图像的分辨率恢复，如此方便了在后续与第一图像的色度图和第一图像的灰度图分别进行合并。29.可选地，通过所述全局语义信息图确定所述第一图像的色彩控制因子，包括：30.将所述第一编码图像通过池化层处理和全连接层处理，得到所述第一图像的色彩控制因子。31.通过将第一编码图像进行池化层处理和全连接层处理，可以将第一编码图像转化为1*1维的数字，用以表征第一图像的色彩控制因子，如此得到的色彩控制因子可以精确地反映第一图像的饱和度。32.可选地，基于所述全局语义信息图，对所述第一图像的灰度图进行放大处理，得到第一重建图像，包括：33.提取所述第一图像的灰度图；34.对所述第一图像的灰度图进行第一残差处理，得到第一灰度特征图；35.将所述第一灰度特征图和所述全局语义信息图合并后，进行第二残差处理，得到第二灰度特征图；36.对所述第二灰度特征图进行像素混排，得到所述第一重建图像。37.通过提取第一图像的灰度图，可以对灰度图进行超分辨率处理，如此实现了提高分辨率的要求。全局语义信息图与第一灰度特征图合并，用于指导对第一图像的超分辨率处理过程，同时通过两次残差处理后，又经过像素混排，提高了图像超分辨率的重建质量。38.本发明实施例还提供一种图像处理装置，包括：39.处理单元，用于：40.通过卷积神经网络对第一图像进行处理，得到所述第一图像的全局语义信息图；41.基于所述全局语义信息图，对所述第一图像的灰度图进行放大处理，得到第一重建图像；42.基于所述全局语义信息图，对所述第一图像的色度图进行色彩增强处理，得到第二重建图像；43.将所述第一重建图像和所述第二重建图像进行融合处理，得到第二图像。44.本发明实施例还提供一种计算设备，包括：45.存储器，用于存储计算机程序；46.处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列图像处理方法。47.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任一方式所列的图像处理方法。附图说明48.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。49.图1示例性示出了本发明实施例提供的一种可能的图像处理方法；50.图2示例性示出了一种可能的提取全局语义信息图的架构；51.图3示例性示出了一种可能的提取色彩控制因子的架构；52.图4示例性示出了一种可能的超分辨率处理的架构；53.图5示出了一种残差网络层的示意图；54.图6示例性示出了一种可能的色彩增强处理的架构；55.图7为本发明实施例中所涉及到的整体性流程的示意图；56.图8为本发明实施例示出的一种可能的图像处理装置。具体实施方式57.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。58.基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。59.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。60.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本技术实施例图示或描述中给出那些以外的顺序实施。61.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。62.本发明实施例提供一种图像处理方法，利用超分辨率和色彩增强的差异与共同点，通过对图像在同一轻量化网络处理，实现了在同一空间内的分辨率和色彩的联合增强，提高了图像处理的质量和效率。63.图1示例性示出了本发明实施例提供的一种可能的图像处理方法，如图1所示，包括：64.步骤101、通过卷积神经网络对第一图像进行处理，得到第一图像的全局语义信息图。65.本发明实施例对在进行全局语义信息提取中采用的第一图像格式和大小不限，可以为rgb格式，也可以为yuv格式。通过卷积神经网络从第一图像中提取全局语义信息，用于指导后续图像分辨率与色彩增强。66.图2示例性示出了一种可能的提取全局语义信息图的架构。如图2所示，包括输入层，降采样层，编码器单元，放大层和输出层。67.下面以第一图像为rgb图像为例，对提取全局语义信息图的方法进行介绍。68.输入层为一个卷积层，用于将输入的图像的通道数做升维处理，目的是增加通道数，从而在后续处理的过程中进行更加细致丰富地运算，提升处理质量。例如输入的第一图像x_in的分辨率为128*128，通道数为3，通过一个3*3大小的卷积层处理，设置卷积层中卷积核的个数为64*3，则会将3通道的图像转化为64通道的特征图。在做卷积处理过程中，采用零扩展(zero-padding)以保证分辨率不会由于卷积处理而降低。如此得到的图像的分辨率依然为128*128，通道数为64。69.降采样层用于将输入的特征图的分辨率进行缩小，以减小全局语义中的计算消耗。具体可以为一个双线性插值层，本发明实施例对降采样的方法不作限制。缩小的特征图分辨率可以为任意分辨率，本发明实施例对此不作限制。例如通过降采样层的处理，特征图的分辨率被缩小为64*64。70.编码器单元对第一图像进行卷积计算，提取图像的全局语义信息，得到第一编码图像。编码器单元在卷积计算的过程中会降低图像的分辨率，如此可获得更大的感受野，提取图像的全局语义信息更加准确。例如，编码器单元包含一个步长为2的3*3大小的卷积层，一个relu激活函数层，以及一个步长为1的3×3大小的卷积层。通过编码器单元的卷积处理，第一图像的分辨率进一步降低，例如通过一个编码器的处理，图像分辨率缩小2倍。如图2中示例性示出了4个编码器单元，则分辨率为64*64的图像的分辨率降低为4*4。本发明实施例对每个编码器的结构、降低的倍数以及编码器的个数不作限制。71.经过编码器单元处理得到的第一编码图像分辨率较低，为了便于后续用于指导超分辨率和色彩增强处理，此时可通过一个放大层将第一编码图像放大至与第一图像相同的分辨率，例如在上面的例子中，将图像分辨率放大至128*128。72.本发明对放大层的结构、图像放大方法不作限制。举个例子，放大层可以包含一个双线性插值层，一个3×3大小的卷积层，一个relu激活函数层，一个上采样层。通过双线性插值层将图像分辨率由4*4放大至64*64，然后通过卷积层和激活函数层进行计算以保证清晰度，再通过上采样层放大至128*128。73.经过上述全局语义信息提取的处理后，图像的分辨率和通道数没有发生变化，例如在上例中，通道数依然为64。因此设置一个输出层，将64通道的特征图转化为单通道的全局语义信息图。这里得到的全局语义信息图可用于后续与第一图像的色度图和灰度图分别合并，进行超分辨率和色彩增强的联合处理。74.通过编码器单元进行卷积计算，在计算的同时，图像分辨率降低，因而可以获得更大的感受野，提高全局语义信息提取的精确度。在得到第一编码图像后，再通过上采样处理，可以使之前降低的图像的分辨率恢复，如此方便了在后续与第一图像的色度图和第一图像的灰度图分别进行合并。75.由于不同的第一图像的色彩饱和度存在差异，因此在对不同的第一图像进行色彩增强的处理时需要考虑到不同图像的饱和度差异。如果第一图像本身的色彩饱和度较高，则在后续色彩增强的过程中降低色彩增强的程度，如果第一图像本身的色彩饱和度较低，则在后续色彩增强的过程中增加色彩增强的程度。因此，在提取全局语义信息图的过程中，还可以通过全局语义信息图确定第一图像的色彩控制因子。76.图3示例性示出了一种可能的提取色彩控制因子的架构。如图3所示，包括全局平均池化层，全连接层和sigmoid层。77.本发明实施例中复用了全局语义信息提取过程中生成的第一编码图像，从而大大降低了计算消耗。78.第一编码图像经过池化层处理，64维的分辨率为4*4的第一编码图像池化为1*64维的特征。继而通过全连接层处理，降低通道数。全连接层的个数越多，则计算量越大，但是对于色彩控制因子的计算提取会越准确。本发明实施例对全连接层的个数不作限制。例如在图3中设置了4个全连接层，前三个输出通道数减半，通道数分别输出为32、16、8。经过最后一个全连接层输出通道数为1，即，经过上述池化处理和全连接层处理，从第一图像中提取出了第一图像的色彩控制因子。最后通过sigmoid层将色彩控制因子限定在一个范围内，例如限定在(0,1)的区间内，则对任一图像提取的色彩控制因子均会限定在(0,1)的范围内。79.通过将第一编码图像进行池化层处理和全连接层处理，可以将第一编码图像转化为1*1维的数字，用以表征第一图像的色彩控制因子，如此得到的色彩控制因子可以精确地反映第一图像的饱和度。80.步骤102、基于所述全局语义信息图，对所述第一图像的灰度图进行放大处理，得到第一重建图像。81.步骤102旨在对第一图像进行超分辨率处理，使其放大n倍。第一图像为yuv格式的图像。因此若第一图像为rgb格式，则为便于后续在y通道及uv通道分别处理灰度信息与色彩信息，首先将输入的rgb图像进行颜色空间转换为yuv图像。82.下面以第一图像为yuv图像为例介绍在yuv空间中进行超分辨率的处理方法。83.首先从yuv图像中提取灰度图，若第一图像的分辨率为128*128，通道数为3，则灰度图的分辨率为128*128，通道数为1。84.图4示例性示出了一种可能的超分辨率处理的架构。如图4所示，包括输入层，第一残差网络层，合并层，第二残差网络层，放大层和输出层。85.输入层为一个卷积层，用于将输入的灰度图的通道数做升维处理。具体处理过程同上文中提到的输入层，在此不做赘述。灰度图经过输入层的处理，转化为64通道的特征图。86.第一残差网络层对得到的特征图做第一残差处理，进行卷积运算，得到第一灰度特征图。图5示出了一种残差网络层的示意图，包括若干个残差块，从残差块输入前到残差块输出后的全局残差连接。图中仅示意出两个残差块，为了保证重建图像的质量，可以设置多个残差块。87.每个残差块不仅会对前一个卷积层输出的结果进行处理，还会通过全局残差连接对上一个残差块的输入结果进行处理，如此，可以减少对信息处理过程中信息的丢失。88.残差块中包含的卷积层可以为3*3卷积层，1*1卷积层等，本发明实施例对残差块的个数和具体结构不作限制。89.例如，在图5的残差网络层中示出了一种可能的残差块结构，包含一个3×1大小的卷积层，一个relu激活函数层，另一个1×3大小的卷积层，以及连接两端的残差连接。使用线形核代替一般残差网络中的3×3大小的卷积核可以降低计算量。90.经过第一残差网络层的卷积计算后，将得到的第一灰度特征图和全局语义信息图在合并层中合并，全局语义信息图可以为后续的超分辨率处理提供全局语义信息指导。91.然后对合并后的图像在第二残差网络层中进行第二残差处理，得到第二灰度特征图，这里的第二残差网络层的结构同第一残差网络层类似，也包括若干个残差块，从残差块输入前到残差块输出后的全局残差连接。本发明实施例对残差块的个数与具体结构不做限制，可与第一残差网络层相同，也可与第一残差网络层不同。92.可选地，也可以只采用一个残差网络层，即，将灰度图y与全局语义信息图合并后再通过一个残差网络层进行卷积计算。也可以采用多个残差网络层。残差网络层的个数越多，则计算会更加细腻准确，但也会因此导致计算量的加大。本发明实施例对此不作限制。93.值得注意的是，经过上述合并层的处理，得到的第二灰度特征图实际上通道数发生了变化。例如，如果第一灰度特征图的通道数为64，则由于全局语义信息图为单通道，所以合并后的图像通道数为65。再经过残差网络层的计算，通道数不变。94.考虑到后续要通过像素混排的方式进行图像的放大，因此可以在第二残差网络层之后加一个卷积层，用于通道数的降维处理，如将65通道的图像转化为64通道的图像。具体的卷积层结构和处理过程本发明实施例不作限制。95.放大层将第二灰度特征图进行像素混排，由此可以得到放大n倍的目标分辨率图像。例如，在上述例子中，分辨率为128*128，通道数为64的第二灰度特征图，如果想放大2倍，则会转化为分辨率为256*256，通道数为32的图像；如果想放大4倍，则会转化为分辨率为512*512，通道数为4的图像。依此类推。96.输出层用于将高分辨率特征图转化为单通道的高分辨率输出图，即第一重建图像。例如在上述例子中，放大2倍，得到分辨率为256*256，通道数为32的图像，则通过输出层将其转化为分辨率为256*256，通道数为1的第一重建图像。97.通过提取第一图像的灰度图，可以对灰度图进行超分辨率处理，如此实现了提高分辨率的要求。全局语义信息图与第一灰度特征图合并，用于指导对第一图像的超分辨率处理过程，同时通过两次残差处理后，又经过像素混排，提高了图像超分辨率的重建质量。98.步骤103、基于所述全局语义信息图，对所述第一图像的色度图进行色彩增强处理，得到第二重建图像。99.步骤103旨在对第一图像进行色彩增强处理，使其在色彩的表现上更加细腻、丰富和鲜艳。第一图像为yuv格式的图像。因此若第一图像为rgb格式，则为便于后续在y通道及uv通道分别处理灰度信息与色彩信息，首先将输入的rgb图像进行颜色空间转换为yuv图像。100.下面以第一图像为yuv图像为例介绍在yuv空间中进行色彩增强的处理方法。101.首先从yuv图像中提取uv通道图像，即色度图x，若第一图像的分辨率为128*128，通道数为3，则色度图x的分辨率为128*128，通道数为2。102.图6示例性示出了一种可能的色彩增强处理的架构。如图6所示，包括合并层，输入层，降采样层，空洞卷积层，放大层，输出层和色彩抑制层。103.首先将色度图x与全局语义信息图在合并层中合并，得到分辨率为128*128，通道数为3的合并图。通过全局语义信息来补充全局信息，提高色彩增强处理的图像的质量。104.可选地，然后经过输入层做卷积升维处理，具体处理过程同上文中提到的输入层，在此不再赘述。经过输入层的处理，通道数转化为64。105.可选地，由于uv通道高频信息较少，因此可以采用在进一步降尺度上进行重建，以降低计算消耗。例如，经过降采样层，将输入的特征图的分辨率缩小，便于在后续计算中降低计算量。本发明实施例对降采样的方法不做限制，例如可以为一个双线性插值层。例如，通过降采样层的处理，上例中的图像分辨率降低2倍，转化为分辨率为64*64，通道数为64的图像。106.在进行色彩增强的计算处理中，可以使用空洞卷积层代替编码器单元。因为编码器单元会导致分辨率降低从而损失像素细节，空洞卷积使用扩张的卷积核增大了感受野，但同时没有显著增加计算量，并且不会引起空间分辨率降低。107.本发明实施例对空洞卷积层的结构和个数不作限制，例如空洞卷积层可以为3*3大小的空洞卷积，设置4个空洞卷积层，扩张因子分别为2、3、5、8。每一个空洞卷积层之后有一个relu激活函数层，一个从空洞卷积前到最后空洞卷积后的残差连接。108.为了后续与超分辨率处理的第一重建图像合并，可以在通过空洞卷积层对图像进行色彩增强处理之后，再经过一个放大层，用于将得到的特征图放大至目标分辨率。例如，将上例中得到的分辨率为64*64，通道数为64的图像放大4倍，即可得到与第一重建图像分辨率相同的色度输出图。109.可选地，放大层为一个像素混排层，因此通过像素混排得到的特征图的清晰度不会降低。例如，在上例中，分辨率为64*64，通道数为64的特征图，若要放大4倍，则经过像素混排，会得到分辨率为256*256，通道数为4的特征图。110.可选地，经过一个输出层得到色度输出图。输出层用于对特征图做卷积降维处理，将高分辨率特征图转化为高分辨率的图像，即色度输出图。输出层可以为一个3*3大小的卷积层，在上例中，将通道数为4的特征图转化为通道数为2的uv通道图。111.全局语义信息图用于指导对第一图像的色彩增强处理，将全局语义信息图与第一图像的色度图合并后通过空洞卷积处理，降低计算量的同时还能获得较大的感受野，如此可以增强色彩增强的处理效果。再经过像素混排，可以将色彩增强后的图像进行放大，如此得到的色度输出图的分辨率和清晰度与第一重建图像相当，那么第一重建图像的分辨率和清晰度也与第一重建图像相当，二者融合可以增强图像处理质量。112.可选地，在色彩抑制层，基于色彩控制因子调整所述色度输出图，得到所述第二重建图像。由于不同的第一图像的色彩饱和度存在差异，因此在对不同的第一图像进行色彩增强的处理时需要考虑到不同图像的饱和度差异。通过第一图像的全局语义信息图确定其对应的色彩控制因子，并将色彩控制因子用于调整色度输出图，从而可以针对性地对色彩增强程度进行控制。113.可选地，在基于色彩控制因子对色度输出图进行调整时，还引入色度增强图。色度增强图可以通过如下方式得出：对第一图像的色度图进行上采样处理，得到色度增强图。例如在上例中，色度图的分辨率为128*128，经过上采样处理后，得到的色度增强图的分辨率为256*256。114.基于色彩控制因子调整色度输出图和色度增强图，得到第二重建图像。115.可选地，通过如下公式得到第二重建图像：116.u_hr＝αku_out+(1-αk)u_u117.其中，u_hr为第二重建图像，u_out为色度输出图，u_u为色度增强图，k为色彩控制因子，α为衰减因子。因为数据集的色彩分布往往非理想分布，在某色的饱和区域即易产生增强后的过饱和现象，通过限定α＝0.85来进一步避免过饱和出现。118.得到的第二重建图像的分辨率依然为256*256，通道数为2。119.通过对第一图像的色度图上采样处理后得到色度增强图，色度增强图的饱和度会用于指导第二重建图像的生成。如此得到的第二重建图像会考虑到第一图像原本的饱和度，因而针对性地进行色彩增强。120.步骤104、将第一重建图像和第二重建图像进行融合处理，得到第二图像。121.将第一重建图像和第二重建图像进行合并。122.通过在y通道中做超分辨率处理和在uv通道中做色彩增强处理的联合进行，分别获得了高分辨率的第一重建图像和色彩增强后的第二重建图像，将二者合并后转换为rgb颜色空间即获得最终输出的联合分辨率与色彩增强结果图像。123.为了便于理解，下面对上述图像处理方法做整体性说明。如图7所示，以第一图像为rgb图像为例进行介绍。124.步骤701、输入第一图像。125.步骤702、提取第一图像的全局语义信息图。126.步骤703、提取第一图像的色彩控制因子。127.步骤704、将rgb图像转化为yuv图像。128.步骤705、从yuv图像中提取y通道图像，结合全局语义信息图，对y通道图像做超分辨率处理，得到第一重建图像。129.步骤706、从yuv图像中提取uv通道图像，结合全局语义信息图和色彩控制因子，对uv通道图像做色彩增强处理，得到第二重建图像；130.步骤707、将第一重建图像和第二重建图像进行融合后，得到第二图像，转化为rgb图像输出。131.此外，在采用上述方法进行超分辨率和色彩增强的训练中，需要使用大量的训练图像对。一般来说，使用专家调色作为标定真值，通过建立成对的训练集训练上述轻量化网络。然而人工调色的方法难以建立足够多的训练图像，训练集的色彩往往存在色偏，从而导致目前的颜色增强算法在一些平坦且饱和度高的纯色区域存在重建结果存在色偏或过饱和的现象，例如草地、晚霞等等，进而由于增强结果不一致从而在视频播放时出现颜色的闪烁感。132.为了解决色彩增强数据集中人工处理工作量大的问题，本发明实施例还提供一种训练样本的获取方法。133.首先针对同一视频文件生成专业成对调色的hdr与sdr高分辨率视频序列。134.然后对这两种视频序列分别逐帧提取视频中的图像，由此针对同一幅图像，可以得到对应的hdr格式与sdr格式的两种版本。135.然后使用sdr图像作为色彩增强的标定真值；对hdr图像进行简单色调映射(tone mapping)后色彩失真，并进一步降采样作为低分辨率且色彩失真的输入图像。由此获得了大量的样本对，而无需人工标注。136.可选地，可以对样本对进行切割，切出大量成对的128×128大小的图像块用于训练，训练使用常用的l1损失进行。137.可选地，在对全局语义信息提取的训练中，针对视频数据集中天空、人脸肤色、树木、草地等常见场景进行人工标注，预训练全局语义提取模块并固定，不在后续训练中更新。138.本发明实施例还提供一种图像处理装置，如图8所示，包括：139.处理单元801，用于：140.通过卷积神经网络对第一图像进行处理，得到所述第一图像的全局语义信息图；141.基于所述全局语义信息图，对所述第一图像的灰度图进行放大处理，得到第一重建图像；142.基于所述全局语义信息图，对所述第一图像的色度图进行色彩增强处理，得到第二重建图像；143.将所述第一重建图像和所述第二重建图像进行融合处理，得到第二图像。144.本发明实施例还提供一种计算设备，包括：145.存储器，用于存储计算机程序；146.处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列图像处理方法。147.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任一方式所列的图像处理方法。148.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。149.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。150.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。151.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。152.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!