跨域小样本分类方法、系统、设备及存储介质 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及计算机视觉领域，尤其涉及一种跨域小样本分类方法、系统、设备及存储介质。背景技术：2.近年来深度学习技术的发展，使小样本分类问题有了显著的突破。小样本分类要求从少量样本中快速获取新知识，它的关键在于从训练集学习先验知识并推广到新的数据集。当前小样本分类方法均假设在训练集与目标数据集之间仅有很小的域差异，这在现实场景中是难以实现的。而跨域小样本分类问题的目标，则是在具有较大域差异的情况下实现小样本分类。作为一个新兴的研究方向，它比传统的小样本分类问题更贴合实际情况、更具实用价值，被研究者们投入了极大的关注度。3.对于跨域小样本分类问题，其目的是在具有较大领域差异的情况下，利用很少的有标签图像样本来识别目标集合中的无标签图像样本，所述有标签图像样本是指带有语义类别标签的图像样本。跨域小样本分类问题中有四个基本概念：源域集（source set），目标域集（target set），支持集（support set）以及查询集（query set）。源域集中的每个类别都有很多图像样本，且均为有标签图像样本。目标域集每个类仅有少量图像样本具有标签，其余为无标签图像样本。目标域集与源域集所包含的类别无交叠，且存在较大的领域风格差异。支持集与查询集均为从目标域集中采样得来。支持集包含n个类别，每个类别只有k（k较小）个样本且所有样本均有标签。查询集只包含这n个类别，但其中的样本都是无标签图像样本。通常将跨域小样本任务定义为n-way k-shot任务（即给定支持集，将查询集样本分类为上述n类之一），需要利用源域集和部分目标域集（仅含无标签图像样本）训练一个分类器，然后使用该分类器与支持集对查询集中的样本进行分类。4.目前的跨域小样本分类方法主要包含两个方面，即自训练方法（self-training）与预训练-微调模式（pre-training and fine-tuning）。自训练方法是指先通过少量的有标签数据训练一个弱分类器，再通过该弱分类器对无标签图像样本进行标注，以解决有标签图像样本较少的问题。预训练-微调训练模式是一种广泛使用的基于模型的迁移学习方法，是指首先在大数据集上训练得到一个具有强泛化能力的模型（预训练模型），然后在下游任务上进行微调，最终获得一个能够适应目标任务的模型（目标分类模型）。因此，基于自训练方法和预训练-微调训练模式的跨域小样本分类模型的训练和测试流程如下：5.（1）在源域集上进行监督训练，获得一个弱分类器。6.（2）使用该弱分类器对目标域集的无标签图像样本进行标注，获得伪标签。7.（3）利用源域集与带有伪标签的目标域集样本进行监督训练，得到预训练模型。8.（4）在小样本分类时，以支持集样本作为锚点，对预训练模型进行微调，获得目标分类模型，并对查询集样本进行图像分类。9.下面分别从自训练方法和预训练-微调训练模式两个方面具体介绍相关的研究工作。10.自训练方法目前技术已经十分成熟，在跨域小样本学习（cross-domain few-shot learning）、半监督学习（semi-supervised learning）与领域自适应（domain adaptation）中均有广泛的应用。在针对跨域小样本学习的自训练中，首先使用源域集中全部有标签图像样本进行有监督图像分类训练，获得一个传统的图像分类器，再用其对无标签的目标域集样本进行标注，获得伪标签。在现有技术文献《用自训练实现跨越极端任务差异的小样本迁移》（cheng perng phoo and bharath hariharan. self-training for few-shot transfer across extreme task differences. international conference on learning representations, 2021.）中，首次引入了自训练方法。其采用10层残差网络（resnet-10）作为特征提取器，以一个输出维度与源域集类别数一致的全连接层作为分类器，用来标注目标域集样本。标注完成后，目标域集样本的伪标签即为该样本被预测为源域集各类别的概率。在现有技术文献《利用无标注数据的跨域小样本识别的动态蒸馏网络》（ashraful islam, chun-fu richard chen, rameswar panda, leonid karlinsky, rogerio feris, and richard j radke. dynamic distillation network for cross-domain few-shot recognition with unlabeled data. advances in neural information processing systems, 34:3584–3595, 2021.）中，使用了动态蒸馏算法与一致性正则化来优化伪标签的质量。自训练方法可以在一定程度上探索无标签的目标域集样本中的语义结构，缓解了由于标签缺失而带来的模型训练与领域迁移困难。然而，上述技术文献的实验结果并不太理想，其主要原因在于自训练方法对于小样本问题的局限性。在小样本问题的设定下，源域集数据和未标记的目标域集样本来自不同的类别，因此自训练方法预测目标域集样本在源域集类别上的概率分布显然是不合理的。考虑到基于源域集类别给出的伪标签将直接优化针对目标域集类别的分类网络，获得的模型在区分跨域的类别时会出现混淆，不利于目标域的预期识别。本发明不需要使用自训练方法，直接规避了这个技术瓶颈，使得算法对目标域集样本与类别的关注度更高，适合于针对目标领域的小样本分类。11.预训练-微调训练模式在众多的计算机视觉任务，尤其是跨域小样本学习任务中有广泛的使用。在现有技术文献《对跨领域小样本学习的更广泛的研究》（ yunhui guo, noel c codella, leonid karlinsky, james v codella, john r smith, kate saenko, tajana rosing, and rogerio feris. a broader study of cross-domain few-shot learning. in european conference on computer vision, pages 124–141. springer, 2020.）中，提出了现行的跨域小样本分类基准，同时通过实验指出预训练-微调训练模式的性能显著优于当前的基于元学习（meta learning）的小样本学习方法。在前文引用的现有技术文献《用自训练实现跨越极端任务差异的小样本迁移》中，使用源域集与带有伪标签的目标域集样本进行一般的有监督图像分类训练，获得预训练模型，在微调时固定模型的特征提取器，以支持集样本作为锚点，重新训练模型的全连接层，得到适应于目标类别的小样本分类器。12.然而上述的跨域小样本分类方法，都仍存在较大的技术瓶颈与局限性。首先，跨域小样本问题设置的特殊性，导致使用自训练方法获得的小样本分类模型，在区分跨域的类别时会出现混淆。其次，目前使用的预训练-微调训练模式对跨域问题的目的性较弱，在预训练时仅将伪标签图像样本与源域样本同等考虑，目标域样本利用率低下，且没有实际强调模型对于目标领域的分类与适应问题，从而导致鲁棒性差、准确度低。技术实现要素：13.本发明的目的是提供一种跨域小样本分类方法、系统、设备及存储介质，可以提升跨域小样本分类的准确度。14.本发明的目的是通过以下技术方案实现的：一种跨域小样本分类方法，包括：15.过聚类算法生成目标域集中无标签图像样本的伪标签，形成伪标注的目标域子集；使用混合采样策略从源域集以及伪标注的目标域子集进行采样，构成领域混合情景集，为领域混合情景集赋予特定于情景训练任务的标签，并对小样本分类模型进行情景训练，获得领域混合模型；基于所述领域混合模型与支持集对查询集中的无标签图像样本进行分类；其中，支持集与查询集均采样自目标域集。16.一种跨域小样本分类系统，包括：伪标签生成单元，用于通过聚类算法生成目标域集中无标签图像样本的伪标签，形成伪标注的目标域子集；领域混合学习单元，用于使用混合采样策略从源域集以及伪标注的目标域子集进行采样，构成领域混合情景集，为领域混合情景集赋予特定于情景训练任务的标签，并进行情景训练，获得领域混合模型；分类单元，用于基于所述领域混合模型与支持集对查询集中的无标签图像样本进行分类；其中，支持集与查询集均采样自目标域集。17.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。18.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。19.由上述本发明提供的技术方案可以看出，使用聚类算法直接获得目标域集无标签图像样本的伪标签，可在开发目标域语义信息的同时完全规避由自训练方法导致的类别区分混淆的弊端，也免除了训练弱分类器所带来的时间与算力耗费；并且，通过在源域集与伪标注的目标域子集上构建一个领域混合训练任务，利用目标语义信息（以伪标签形式表达）促进模型向目标域的迁移，上述方式使模型对于目标域的适应性与分类效果都有更好的提升。附图说明20.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。21.图1为本发明实施例提供的一种跨域小样本分类方法的流程图；图2为本发明实施例提供的一种包含精炼过程的跨域小样本分类方法的示意图；图3为本发明实施例提供的伪标签生成方法流程图；图4为本发明实施例提供的领域混合学习方法流程图；图5为本发明实施例提供的特定目标领域的模型精炼方法的流程图；图6为本发明实施例提供的一种跨域小样本分类系统的示意图；图7为本发明实施例提供的一种处理设备的示意图。具体实施方式22.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。23.首先对本文中可能使用的术语进行如下说明：术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。24.下面对本发明所提供的一种跨域小样本分类方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。25.实施例一本发明实施例提供一种跨域小样本分类方法，如图1所示，其主要包括如下步骤：步骤1、通过聚类算法生成目标域集中无标签图像样本的伪标签，形成伪标注的目标域子集。26.本发明实施例中，生成目标域集中无标签图像样本的伪标签是指，为目标域集中给定可用于训练的无标签图像样本生成可表达潜在的目标域语义信息的伪标签，具体的：对目标域集中的无标签图像样本实施聚类算法，获得若干聚类簇；将每个聚类簇视为目标域集的代理类别，将代理类别的标签作为聚类簇中各无标签图像样本的伪标签。27.所有给定可用于训练的无标签图像样本以及对应的伪标签，形成伪标注的目标域子集。28.步骤2、使用混合采样策略从源域集以及伪标注的目标域子集进行采样，构成领域混合情景集，为领域混合情景集赋予特定于情景训练任务的标签，并进行情景训练，获得领域混合模型。29.本发明实施例中，提出了一种领域混合学习方案，具体地，数据的处理与模型的训练遵循情景训练模式，而不再是现有技术所使用的常规有监督学习模式。首先，使用混合采样策略，从源域集和伪标注的目标域子集同时生成领域混合情景集，并为领域混合情景集赋予特定于情景训练任务的标签，再对小样本分类模型进行情景训练。30.本发明实施例提供的方案属于一个即插即用的方法，此处的小样本分类模型（或者称为基于情景训练模式训练得到的小样本分类模型）为现有的模型，例如，10层残差网络模型（resnet-10）。31.步骤3、基于所述领域混合模型与支持集对查询集中的无标签图像样本进行分类。32.本发明实施例中，可以使用步骤2获得的领域混合模型与支持集直接对查询集中的无标签图像样本进行分类，此部分的实现方式可参照常规技术实现；此处的支持集与查询集均采样自目标域集，它们的定义可参见前述背景部分的介绍。33.优选的，为了获得一个完全适应于目标域的小样本分类模型，可以对所述领域混合模型进行精炼，获得精炼后的模型（即目标域小样本分类模型），再利用精炼后的模型与支持集对查询集中的图像样本进行分类，这样可以使得准确度有更大的提升，图2呈现了相关的流程。其中，对所述领域混合模型进行精炼，获得精炼后的模型，包括：对生成有对应伪标签的目标域子集进行采样，获得目标域情景训练集；使用知识蒸馏算法，以领域混合模型作为教师模型，并对学生模型进行参数初始化；将目标域情景训练集输入至教师模型与学生模型，计算出知识蒸馏损失，以及利用目标域情景训练集构造正负样本对，并输入至学生模型，计算出对比学习损失；利用所述对比学习损失与知识蒸馏损失优化学生模型，优化完毕后的学生模型即为精炼后的模型。34.本发明实施例提供的上述方案，使用聚类算法取代自训练方法，直接获得目标域集样本的伪标签，可在开发目标域语义信息的同时完全规避由自训练方法导致的类别区分混淆的弊端，也免除了训练弱分类器所带来的时间与算力耗费。进一步，为了弥补与利用领域和类别的不一致性，本发明提出了领域混合学习方案，领域混合学习方案在源域集与伪标注的目标域子集上构建了一个领域混合训练任务，利用目标语义信息（以伪标签形式表达）促进模型向目标域的迁移。除此之外，本发明还提出了一种特定于目标领域的模型精炼方法，令模型进一步向目标域迁移，以获得一个完全适应于目标域的小样本分类模型，使准确度有了更大的提升。35.为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。36.一、伪标签生成。37.本发明实施例中，通过聚类算法来生成目标域集中无标签图像样本的伪标签。所述聚类算法是按照无标签图像样本之间的相似度进行聚类，将所有无标签图像样本划分为若干聚类簇，使聚类簇内的数据相似度较大，而聚类簇间的数据相似度较小，它是一种无监督的学习方法。38.如图3所示，展示了伪标签生成方法流程图，首先以目标域集中的无标签图像样本为训练集，训练一个聚类模型。该聚类模型可计算无标签图像样本在特征空间中的特征表示，并依照特征表示的相似程度，将相似度较高的图像样本归类到同一个聚类簇中，此处的相似度较高是指相似度不小于设定值，该设定值的大小可根据实际情况或者经验进行设定。然后，将每一个聚类簇视为目标域集不同的代理类别，代理类别可表达潜在的目标域语义结构，在同一个聚类簇中的无标签图像样本可视作属于同一目标域类别。最后再依照所属代理类别的标签，为无标签图像样本标注对应的伪标签，形成伪标注的目标域子集。以上的操作均是预先离线完成的，不参与跨域小样本分类网络的训练，以减少训练过程中的时间耗费。39.二、领域混合学习。40.所述的领域混合学习是指，利用以伪标签形式表达的目标域语义信息与源域集样本共同构建跨领域的训练任务。学习过程中，数据的处理与模型的训练遵循情景训练模式，所述的情景训练模式（episode training）是当前小样本学习中常用的一种训练策略，是指在模型训练时模仿测试阶段的设置，如采取与测试时相同的支持集与查询集划分方式，可将其称为训练支持集和训练查询集。用在训练集中采样得到的训练支持集和训练查询集训练模型，在训练过程中模拟了测试场景，可使模型在测试过程中表现更好。41.本发明实施例中，使用混合采样策略从源域集以及伪标注的目标域子集进行采样，构成领域混合情景集；优选实施方式如下：设置采样概率p，使采样到伪标注的目标域子集中的类别的概率为p，采样到源域集中的类别的概率为1-p，根据采样到的类别从对应的伪标注的目标域子集或源域集中抽取相应图像样本，构成领域混合情景集。此处的概率p的数值可根据源域集和伪标注的目标域子集中图像样本的数量而定。42.本发明实施例中，采样得到领域混合情景集后，为该领域混合情景集赋予特定于情景训练任务的标签，然后，对小样本分类模型进行情景训练，获得一个可初步实现跨域小样本分类的模型，称为领域混合模型。此部分中，为领域混合情景集赋予特定于情景训练任务的标签是指，为领域混合情景集中每一图像样本赋予用于情景训练的特有的标签，它作为情景训练中的监督信号，考虑到赋予特定于情景训练任务的标签以及进行情景训练的方案均可参照常规技术实现，故不做赘述。如图4所示，展示了领域混合学习方法流程图。本发明实施例提供的领域混合学习可直接搭载在任何情景训练算法上，执行效率高，且能极大提高模型的泛化性能。43.三、特定目标领域的模型精炼。44.所述的特定目标领域的模型精炼是指，利用以伪标签形式表达的目标域语义信息对模型实施调整，使模型进一步向目标域迁移。具体地，该方法同样遵循情景训练模式，首先对伪标注的目标域子集采样，获得目标域情景训练集；然后，使用知识蒸馏算法，以领域混合模型作为教师模型，并对学生模型进行参数初始化；将目标域情景训练集输入至教师模型与学生模型，计算出知识蒸馏损失，以及利用目标域情景训练集构造正负样本对，并输入至学生模型，计算出对比学习损失；利用所述对比学习损失与知识蒸馏损失优化学生模型，优化完毕后的学生模型即为精炼后的模型。45.本发明实施例中，所述的知识蒸馏算法是指，将一个已经训练好的模型（即教师模型）所包含的知识，提取到另一个模型（即学生模型）中。知识蒸馏损失的计算方式包括：利用带温度参数的softmax函数（归一化指数函数）来软化教师模型的输出结果，并作为学生模型的监督信息；利用学生模型的输出结果与所述监督信息计算知识蒸馏损失。46.本发明实施例中，对比学习是一种无监督学习范式，要求模型从无标注图像中学习样本数据的特征表达。具体地，将图像样本同与它语义相似的例子（正样本）和语义不相似的例子（负样本）在特征空间进行对比，通过对比学习损失，使正样本对应的表示在特征空间更接近，负样本对应的表示距离更远，来更好的学习样本的特征表示。其中，对比学习损失的计算方式如下：对目标域情景训练集中的每一图像样本进行两种不同的数据增强处理，获得每一图像样本对应的第一增强样本与第二增强样本，利用第一增强样本与第二增强样本构造正负样本对，并输入至学生模型，利用学生模型的输出结果计算对比学习损失；其中，同一图像样本的第一增强样本与第二增强样本为一个正样本对，不同图像样本的任意增强样本的组合为负样本对。47.示例性的：对应图像样本a与图像样本b，图像样本a的第一增强样本与第二增强样本为一个正样本对，图像样本b的第一增强样本与第二增强样本为一个正样本对；图像样本a的第一增强样本与图像样本b的第一增强样本、第二增强样本分别构成一个负样本对；图像样本a的第二增强样本与图像样本b的第一增强样本、第二增强样本分别构成一个负样本对。48.如图5所示，展示了特定目标领域的模型精炼方法的流程图，教师-学生框架中教师模型与学生模型的结构相同，区别在于教师模型为前述训练得到的领域混合模型，其不参与后续的训练，而学生模型是以训练得到的领域混合模型进行初始化，后续会做进一步的训练。在精炼过程中，两种不同的数据增强处理可以选择一种强增强处理与一种弱增强处理，继而第一增强样本与第二增强样本可以称为强副本与弱副本，无论是强增强处理或是弱增强处理的具体实施方式均可参照常规技术，本发明不做赘述。49.本发明实施例提供的上述方案主要获得如下有益效果：首先，本发明提出使用聚类算法取代自训练方法，解决了由自训练导致的类别区分混淆问题，也免除了训练弱分类器带来的时间与算力耗费；其次，本发明提出领域混合学习方案，利用目标域语义信息（以伪标签形式表达）促进模型向目标域迁移，大大提高其泛化性，使本发明的效率更高、鲁棒性更强；最后，还提出特定目标领域的模型精炼方法，令模型向目标域进一步迁移，获得一个完全适应于目标域的小样本分类模型，使准确度有了更大的提升。本发明已在多个基准数据集上进行了测试验证，其准确度均达到了目前的最高水平，且其性能与现有技术相比有着极大的提升。50.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是cd-rom，u盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。51.实施例二本发明还提供一种跨域小样本分类系统，其主要用于实现前述实施例提供的方法，如图6所示，该系统主要包括：伪标签生成单元，用于通过聚类算法生成目标域集中无标签图像样本的伪标签，形成伪标注的目标域子集；领域混合学习单元，用于使用混合采样策略从源域集以及伪标注的目标域子集进行采样，构成领域混合情景集，为领域混合情景集赋予特定于情景训练任务的标签，并进行情景训练，获得领域混合模型；分类单元，用于基于所述领域混合模型与支持集对查询集中的无标签图像样本进行分类；其中，支持集与查询集均采样自目标域集。52.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。53.实施例三本发明还提供一种处理设备，如图7所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。54.进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。55.本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；输出设备可以为显示终端；56.存储器可以为随机存取存储器（random access memory，ram），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。57.实施例四本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。58.本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器（read-only memory，rom）、磁碟或者光盘等各种可以存储程序代码的介质。59.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!