一种基于多核宽度图神经网络特征提取与分类方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及一种基于多核宽度图神经网络特征提取与分类方法，属于人工神经网络技术领域。背景技术：2.卷积神经网络(convolutional neural network,cnn)对图像(image)、自然语言序列等结构化数据特征提取与分类效果显著，已广泛应用于图像分类、语义分割及自然语言处理等领域。在一些其他领域，如分子结构、社会网络、生物蛋白质-蛋白质网络、推荐系统等领域数据除了数据本身特征外，还具有复杂的空间几何邻接关系，需要以图(graph)形式建模。图学习是机器学习领域中的一个重要分支，与图像与序列等结构化数据不同，图具有复杂的空间结构，图中节点与节点间拥有复杂的连接关系。因此，图学习是一项复杂的任务。3.近几年，图表示学习任务吸引了越来越多研究关注。kipf等人提出图卷积神经网络(graph convolutional networks,gcn)，通过聚合和转换其原始邻居或基于元路径邻居的信息来学习与更新节点自身表征，取得了非常好的效果。petar等人提出图注意力神经网络(graph attention networks,gat)，引入注意力机制来学习邻居对自身的注意力权重，在计算节点表征时，通过注意力权重来聚合与转换邻居表征信息并更新节点自身表征。zhang等人提出门控注意力图神经网络(gated graph attention networks,gaan)，不同于传统多头注意力机制，使用一个卷积算子网络来控制每个注意力头部的重要性，以此来提升模型特征提取与分类的精度。4.研究表明，图神经网络遵循的消息传递机制特性不可避免地出现深层特征过平滑问题，导致增加gcn层数时，不仅无法提升模型性能，甚至使模型效果比传统非图神经网络模型更差。因此，如何保证gcn在过参数化时对模型训练与拟合不产生负面影响，突破gcn的模型加深限制，提升网络对数据的非线性拟合与表征能力是一个关键科学问题。技术实现要素：5.本发明要解决的技术问题是本发明要解决的技术问题是提供一种基于多核宽度图神经网络特征提取与分类方法，以用于解决深度图神经网络特征过平滑等问题，增加图神经网络模型的信息容量大小以及增强图神经网络对数据的非线性拟合能力。6.本发明的技术方案是：一种基于多核宽度图神经网络特征提取与分类方法，其特征在于：首先以图结构形式对输入数据进行建模，生成数据特征矩阵与邻接矩阵；对数据特征矩阵中的每个向量vi进行线性变换，生成线性映射向量hi；7.构造扩展基核集k，从扩展基核集中抽取一个核函数，利用选定核函数对线性映射矩阵进行非线性特征映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，使用扩展基核集k中所有核函数计算特征向量拼接生成特征扩展向量构成特征扩展矩阵hk；8.构造增强基核集ke，从增强基核集中抽取一个核函数，利用选定核函数对特征扩展矩阵hk进行增强映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，计算特征增强向量构成特征增强矩阵9.将特征扩展矩阵hk与所有得到的特征增强矩阵并列放置，得到表征矩阵集合x，设计一组科学系权重ω，对表征矩阵集合中所有表征矩阵进行加权聚合，得到节点表征矩阵10.通过自注意力机制特征映射，将节点表征矩阵映射到类别概率输出空间，得到数据中每个节点对应任务中所有类别的概率输出，得到图数据分类结果，进而得到原始输入数据的分类结果。11.具体步骤为：12.step1：将输入数据建模为图模型g＝(v,e)，具体表现为数据特征矩阵与邻接矩阵，将数据特征矩阵与邻接矩阵输入到网络。13.step2：构建一个可学习的线性特征变换矩阵w∈rf×f，将节点表征向量vi线性变换到另一个特征空间，得到线性映射向量hi，表示为hi＝wvi∈rf。14.step3：设计自注意力机制attn:rf×rf→r，利用核函数作非线性特征映射，为目标节点邻域n(i)节点学习一个注意力权值构成多核注意力图特征映射机制。15.step4：利用softmax函数对目标点注意力权重进行归一化，表示为对于选定的一个特定核函数km，目标点注意力权重表示为16.step5：构建图核注意力机制下的空域图卷积运算，表示为17.step6：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组扩展基核集k＝{k1,k2,…,km}。18.step7：以多核方式扩展图注意力网络数据特征域，从扩展基核集k中抽取一个核函数km，使用step5中的空域图卷积运算，计算得到核函数km映射下的特征扩展向量19.step8：重复step7，直到使用扩展基核集k中所有核函数计算特征向量将得到的所有特征向量进行特征域拼接，生成特征扩展向量由所有特征扩展向量构成特征扩展矩阵20.step9：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组增强基核集ke＝{k1e,k2e,…,kpe}。21.step10：以多核方式进行网络宽度扩展，从增强基核集ke中抽取一个核函数kpe，使用step5中的空域图卷积运算看，计算得到核函数kpe映射下的特征增强向量由所有当前核函数下的特征增强向量构成特征增强矩阵22.step11：重复step10，直到使用增强基核集ke中所有核函数计算并构成特征增强矩阵由特征扩展矩阵hk与计算得到的所有特征增强矩阵并列放置，构成表征矩阵集合23.step12：设计一组可学习权重ω＝{μ1,μ2,...,μq}∈rx，满足将表征矩阵集合x通过可学习权重ω加权聚合，得到节点表征矩阵24.step13：利用节点表征矩阵通过自注意力机制特征映射，计算得到数据中每个节点对应任务中所有类别的概率输出，得到图数据节点分类结果，进而得到原始输入数据的分类结果。25.进一步地，step6和step9中所述的候选核函数组，包含以下核函数：26.线性核k(x,x′)＝xtx′+c、多项式核k(x,x′)＝(xtx′+c)d、sigmoid核k(x,x′)＝tanh(βxtx′+c)、高斯核27.其中，线性核中包含核函数参数c，多项式核中包含核函数参数c和d，sigmoid核中包含核函数参数β和c，高斯核中包含核函数参数γ。28.其中x和x’是维数相同的特征向量，构建基核集时，相同核函数、不同核参数在基核集中对应不同核函数。29.进一步地，所述step12中的加权聚合，具体为：30.设表征矩阵集合表示为x＝{x1,x2,...,xq}，则对于任意矩阵中元素加权聚合计算为31.进一步地，不同于增加网络深度的方法，step7中通过图核注意力机制生成用于扩展网络宽度的特征扩展矩阵，step10中并将特征扩展矩阵hk与所有特征增强矩阵平行放置，通过一组可学习权重ω进行加权聚合。达到效果为，采用多核学习及宽度扩展方式增强非线性信息提取能力，挖掘数据中的非线性分布信息，在增大图神经网络模型对数据的非线性信息拟合能力的同时避免了深度图神经网络中的特征过平滑问题。32.进一步地，所述step6采用图核注意力方式进行特征域扩展，具体扩展方式为向量拼接，维度坐标是1，即列扩展。33.本发明采用宽度扩展方式增强非线性信息提取能力，挖掘数据中的非线性分布信息，在增大图神经网络模型对数据的非线性信息拟合能力的同时避免了深度图神经网络中的特征过平滑问题。34.本发明的有益效果是：本发明引入多核学习及宽度学习系统，增强图神经网络对非线性信息的提取与拟合能力。本发明与现有技术相比，主要解决深度图神经网络特征过平滑，容量不足等现象，增加图神经网络模型的信息容量大小以及增强图神经网络对数据的非线性拟合能力。附图说明35.图1是本发明的步骤流程图；36.图2是本发明的模型网络结构图；37.图3是实施例中托伯莫里海港数据集真实地物分布图。具体实施方式38.下面结合附图和具体实施方式，对本发明作进一步说明。39.实施例1：如图1所示，一种基于多核宽度图神经网络特征提取与分类方法，其特征在于：首先以图结构形式对输入数据进行建模，生成数据特征矩阵与邻接矩阵。对数据特征矩阵中的每个向量vi进行线性变换，生成线性映射向量hi。40.构造扩展基核集k，从扩展基核集中抽取一个核函数，利用选定核函数对线性映射矩阵进行非线性特征映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，使用扩展基核集k中所有核函数计算特征向量拼接生成特征扩展向量构成特征扩展矩阵hk。41.构造增强基核集ke，从增强基核集中抽取一个核函数，利用选定核函数对特征扩展矩阵hk进行增强映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，计算特征增强向量构成特征增强矩阵42.将特征扩展矩阵hk与所有得到的特征增强矩阵并列放置，得到表征矩阵集合x，设计一组科学系权重ω，对表征矩阵集合中所有表征矩阵进行加权聚合，得到节点表征矩阵43.通过自注意力机制特征映射，将节点表征矩阵映射到类别概率输出空间，得到数据中每个节点对应任务中所有类别的概率输出，得到图数据分类结果，进而得到原始输入数据的分类结果。44.具体步骤为：45.step1：将输入数据建模为图模型g＝(v,e)，具体表现为数据特征矩阵与邻接矩阵，将数据特征矩阵与邻接矩阵输入到网络。46.step2：构建一个可学习的线性特征变换矩阵w∈rf×f，将节点表征向量vi线性变换到另一个特征空间，得到线性映射向量hi，表示为hi＝wvi∈rf。47.step3：设计自注意力机制attn:rf×rf→r，利用核函数作非线性特征映射，为目标节点邻域n(i)节点学习一个注意力权值构成多核注意力图特征映射机制。48.step4：利用softmax函数对目标点注意力权重进行归一化，表示为对于选定的一个特定核函数km，目标点注意力权重表示为49.step5：构建图核注意力机制下的空域图卷积运算，表示为50.step6：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组扩展基核集k＝{k1,k2,…,km}。51.step7：以多核方式扩展图注意力网络数据特征域，从扩展基核集k中抽取一个核函数km，使用step5中的空域图卷积运算，计算得到核函数km映射下的特征扩展向量52.step8：重复step7，直到使用扩展基核集k中所有核函数计算特征向量将得到的所有特征向量进行特征域拼接，生成特征扩展向量由所有特征扩展向量构成特征扩展矩阵53.step9：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组增强基核集ke＝{k1e,k2e,…,kpe}。54.step10：以多核方式进行网络宽度扩展，从增强基核集ke中抽取一个核函数kpe，使用step5中的空域图卷积运算看，计算得到核函数kpe映射下的特征增强向量由所有当前核函数下的特征增强向量构成特征增强矩阵55.step11：重复step10，直到使用增强基核集ke中所有核函数计算并构成特征增强矩阵由特征扩展矩阵hk与计算得到的所有特征增强矩阵并列放置，构成表征矩阵集合56.step12：设计一组可学习权重ω＝{μ1,μ2,...,μq}∈rx，满足将表征矩阵集合x通过可学习权重ω加权聚合，得到节点表征矩阵57.step13：利用节点表征矩阵通过自注意力机制特征映射，计算得到数据中每个节点对应任务中所有类别的概率输出，得到图数据节点分类结果，进而得到原始输入数据的分类结果。58.下面在实施例1记载的基础上，通过实验的方式来说明本发明是切实可行的：59.1、实验数据60.cora数据集：该数据集是用于文献分类的引文网络，共有2708个论文，5429条引用连接，是一个经典非欧式数据节点分类任务数据集，数据集中的节点和边分别对应文档和引用连接，该数据集将论文分为7类，分别为基于案例、遗传算法、神经网络、概率方法、强化学习、规则学习和理论。构图时，将数据中引用连接作为标准构建数据集的邻接矩阵，进行分类实验。61.托伯莫里海港数据集：该数据集场景是位于加拿大托伯莫里的一个小型海港，由optech titan激光雷达采集的三波段点云数据，波长分别为1550nm、1064nm和532nm，数据集可视化效果如图3所示。根据土地覆盖的高度、材料和语义信息将研究区域划分为9类，分别为裸地、草地、不透水道路、建筑物、树木、水、电线、汽车和船舶。使用超体素分割方法，将原始点云4855839点分割为24458个超体素点，并通过下采样方式抽取10000个点进行构图。构图时使用高斯核算子度量样本点云在希尔伯特空间相似性，利用空间相似性描述样本的形态学特征并构建数据集的邻接矩阵，进行分类实验。62.2、实验内容63.在实验中，采用本发明方法和已有3种方法对以上数据集进行分类验证。本发明方法中测试了单核分类效果以及多核宽度扩展实验效果，单核方法包含四种常用核：多项式核、线性核、sigmoid核和高斯核；已有3种方法包括图卷积神经网络(gcn)、图注意力神经网络(gat)、门控图注意力神经网络(gaan)。实验中，cora数据集按照每类20个节点作为训练集，500个与1000个节点分别作为验证集和测试集进行划分，用于训练、验证和测试的节点共享相同的图结构。托伯莫里海港数据集则抽取5000个节点，其中2000个节点作为训练集，1000个节点作为验证集，2000个节点作为测试集，用于训练、验证和测试的节点共享相同的图结构。在pytorch上实现了本发明方法网络模型，使用一台配备了16gb显卡的计算机进行实验。对cora数据集，学习率设置0.005，权重衰减设置0.0005，丢弃率dropout设置0.5，leakyrelu激活函数的参数α设置0.2，模型迭代次数设置500；对托伯莫里海港数据集，学习率设置0.002，权重衰减设置0.0005，丢弃率dropout设置0.6，leakyrelu激活函数的参数α设置0.2，模型迭代次数设置700。使用分类精度评估分类结果，表1为不同方法在不同数据集下总体分类准确率精度。[0064][0065]表1：不同方法在不同数据集下总体分类准确率精度[0066]实验结果表明，本发明方法在cora数据集及托伯莫里海港数据集上效果均比单核方法及已有3种方法超出1～2个百分点，证明本发明一种基于多核宽度图神经网络的特征提取与分类方法非线性拟合能力强，能有效提高分类精度。[0067]以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!