视频分类方法、系统、电子设备和存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理技术领域，特别涉及一种视频分类方法、视频分类系统、电子设备和存储介质。背景技术：2.超声是疾病医学影像检查的常用手段，可用于各类组织和脏器的疾病诊断，具有适用疾病广泛、成本较ct、mri等大型影像设备低的特点。同时超声硬件在便携性上不断升级，掌上超声的产品形态实现了功能与便携性的统一，适用于基层疾病筛查场景。然而因为超声图像颗粒度高，存在大量散斑噪声、伪影、衰减等问题，超声诊断难以规范化、标准化，十分依赖超声医师的临床经验。3.人工智能可以被用于对超声图像进行标准化的良恶性判断并辅助医生的诊断和决策，以解决过分依赖于超声医师经验判断的痛点。目前用于超声视频良恶性判断的人工智能，多采用将静态影像图片人工智能模型用于视频的逐帧判断并设定单帧恶性阈值或者在静态影像图片人工智能模型基础上，利用时序信息训练额外的神经网络来进行视频良恶性的判断。4.然而上述方法会存在以下问题：将静态图像人工智能模型用于视频的逐帧良恶性判断的方法实质上是将每帧视频图像作为孤立对象考虑，单帧图像具有信息不完整性，该方法在预测单帧图像良恶性时会忽略其他帧对良恶性贡献的特征。在静态影像图片人工智能模型基础上利用时序信息训练额外的神经网络来进行视频良恶性的判断需要对模型做较大的改动，需要在静态人工智能模型的基础上进行重新训练，训练时间长。在模型部署上，增加额外的神经网络也会提高对硬件和算力的需求。技术实现要素：5.本发明的目的在于提供一种视频分类方法、视频分类系统、电子设备和存储介质，可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息进行视频的分类。6.为达到上述目的，本发明提供一种视频分类方法，包括：7.采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵；8.对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵；9.根据所述视频特征矩阵进行视频的分类。10.可选的，所述静态图像分类神经网络模型的骨架网络采用并行处理的方式同时对所获取的待分类视频中的多帧图像进行特征提取，以同时获取多帧图像的特征矩阵。11.可选的，所述根据所述视频特征矩阵进行视频的分类，包括：12.将所述视频特征矩阵输入视频分类模型，以进行视频的分类。13.可选的，所述视频分类模型通过以下步骤训练得到：14.获取视频训练集，所述视频训练集包括视频特征矩阵和与所述视频特征矩阵对应的分类标签；15.设置视频分类模型的模型参数的初始值；16.根据所述视频训练集和所述视频分类模型的模型参数的初始值对视频分类模型进行训练，直至满足预设训练结束条件。17.可选的，所述静态图像分类神经网络模型通过以下步骤训练得到：18.获取原始训练样本，所述原始训练样本包括原始样本图像和与所述原始样本图像对应的分类标签；19.对所述原始训练样本进行扩展，以获取扩展后的训练样本；20.设置静态图像分类神经网络模型的模型参数的初始值；21.根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值对静态图像分类神经网络模型进行训练，直至满足预设训练结束条件。22.可选的，所述根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值对所述静态图像分类神经网络模型进行训练，包括：23.根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值采用随机梯度下降法对所述静态图像分类神经网络模型进行训练。24.为达到上述目的，本发明还提供一种视频分类系统，包括：25.图像特征获取模块，用于采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵；26.视频特征获取模块，用于对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵；27.分类模块，用于根据所述视频特征矩阵进行视频的分类。28.可选的，所述分类模块用于采用所述静态图像分类神经网络模型的分类网络或随机森林分类模型进行视频的分类。29.为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的视频分类方法。30.为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的视频分类方法。31.与现有技术相比，本发明提供的视频分类方法、系统、电子设备和存储介质具有以下优点：本发明通过先采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵；再对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵；最后根据所述视频特征矩阵进行视频的分类。由此，本发明通过先获取视频中的每一帧图像的特征矩阵，再对所有帧图像的特征矩阵进行最大池化处理，以获取全局的视频特征矩阵，最后再根据所获取的全局的视频特征矩阵进行分类，从而可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息对视频进行分类，不仅可以有效提高视频分类的准确率，同时也可以有效降低成本。此外，本发明提供的视频分类方法通用性强，适用于在所有基于静态图像进行分类的人工智能模型中进行改造和应用，从而可以将各类图像分类神经网络模型改造为视频分类神经网络模型。附图说明32.图1为本发明一实施方式中的视频分类方法的流程示意图；33.图2为本发明一具体示例中的调整后的待分类视频中的单帧图像的示意图；34.图3为本发明一具体示例中的静态图像分类神经网络模型的结构示意图；35.图4为本发明一具体示例中的获取视频矩阵特征矩阵的示意图；36.图5为一具体示例中的恶性结节视频中的每帧图像的特征矩阵和视频特征矩阵经pca方法(主成分分析法)处理后，压缩到二维空间显示出的相对位置示意图；37.图6为一具体示例中的良性结节视频中的每帧图像的特征矩阵和视频特征矩阵经pca方法(主成分分析法)处理后，压缩到二维空间显示出的相对位置示意图；38.图7为本发明一具体示例中的采用全连接层进行视频分类的示意图；39.图8为本发明一具体示例中的采用随机森林分类模型进行视频分类的示意图；40.图9为本发明一实施方式中的视频分类系统的结构框图；41.图10为本发明一实施方式中的电子设备的方框结构示意图。42.其中，附图标记如下：43.图像特征获取模块-100；视频特征获取模块-200；分类模块-300；44.处理器-101；通信接口-102；存储器-103；通信总线104。具体实施方式45.以下结合附图和具体实施方式对本发明提出的视频分类方法、视频分类系统、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。46.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。47.本发明的核心思想在于提供一种视频分类方法、视频分类系统、电子设备和存储介质，可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息进行视频的分类。48.需要说明的是，本发明实施方式的视频分类方法可应用于本发明实施方式的视频分类系统，该视频分类系统可被配置于电子设备上，其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。49.为实现上述思想，本发明提供一种视频分类方法，请参考图1，其示意性地给出了本发明一实施方式提供的视频分类方法的流程示意图。如图1所示，所述视频分类方法包括如下步骤：50.步骤s100、采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵。51.步骤s200、对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵。52.步骤s300、根据所述视频特征矩阵进行视频的分类。53.具体地，所述对所有帧图像的特征矩阵进行最大池化操作，是指将所述待分类视频中的所有帧图像的特征矩阵在列方向(即特征维度的方向)取最大特征值(即针对每一特征维度，在所有帧的特征矩阵中取最大值)，以得到每一特征维度的特征值均为在该特征维度的最大特征值的1×k(k为特征维度的数目)的视频特征矩阵，所获得的视频特征矩阵综合了每帧图像中所能贡献的重要信息。由于视频实质上是多帧图像的叠加，视频的特征信息分散在各帧图像中，因此通过对所有帧图像的特征矩阵进行最大池化操作所获得的视频特征矩阵能够全面地表征待分类视频的特征。由此，本发明通过先获取视频中的每一帧图像的特征矩阵，再对所有帧图像的特征矩阵进行最大池化处理，以获取全局的视频特征矩阵，最后再根据所获取的全局的视频特征矩阵进行分类，从而可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息对视频进行分类，不仅可以有效提高视频分类的准确率，同时也可以有效降低成本。此外，本发明提供的视频分类方法通用性强，适用于在所有基于静态图像进行分类的人工智能模型中进行改造和应用，从而可以将各类图像分类神经网络模型改造为视频分类神经网络模型。54.具体地，所述待分类视频可以为超声扫查视频(例如乳腺癌、甲状腺结节等扫查数据)，举例而言，当所述待分类视频为甲状腺结节扫查视频时，通过采用本发明提供的视频分类方法，可以准确地判断所述该视频是良性甲状腺结节的视频还是恶性甲状腺结节的视频，从而可以降低对基层医师超声诊断经验的要求，提高诊断准确率。当然，如本领域技术人员所能理解的，所述待分类视频还可以为其它医学影像设备采集的医学视频，例如，内窥镜采集的医学视频等，此外，所述待分类视频还可以为非医学领域的视频，本发明对此并不进行限定。55.进一步地，在采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取之前，所述方法还包括：56.对所述待分类视频中的每一帧图像的尺寸进行调整，以将所述待分类视频中的每一帧图像的尺寸调整至预设尺寸。57.所述预设尺寸可以根据具体情况进行设置，本发明对此并不进行限定。作为一种示例，调整后的待分类视频的尺寸为100×224×224×3(帧数×宽×高×通道数)。请参考图2，其示意性地给出了一具体示例中的调整后的待分类视频中的单帧图像的示意图。58.具体地，所述静态图像分类神经网络模型的骨架网络可以选用不同的卷积神经网络，例如mobilenet网络、densenet121网络、xception网络等。以mobilenet网络为例，mobilenet的骨架部分主要由多个深度可分离卷积模块(dws conv block)组成，深度可分离卷积将标准的卷积拆分为深度卷积和逐点卷积，与相同尺寸的标准卷积相比，深度可分离卷积可以将计算量减少数倍，特别适合在移动设备等算力有限的应用场景下使用。mobilenet的骨架网络从图像中学习图像的有效特征信息(例如乳腺结节的有效特征信息)，在经过多次深度可分离卷积后，通过全局池化(gap)的方式生成1024个维度的特征(全局池化后输出的维度数量由模型的网络结构决定)。关于mobilenet网络、densenet121网络、xception网络的更多内容可以参考现有技术，本发明对此不再进行赘述。59.所述静态图像分类神经网络模型除了包括用于对图像进行特征提取的骨架网络外，还包括用于根据所述骨架网络所提取到的特征进行分类的分类网络，所述分类网络包括至少一个全连接层。60.请参考图3，其示意性地给出了本发明一具体示例中的静态图像分类神经网络模型的结构示意图。如图3所示，所述静态图像分类神经网络模型的骨架网络包括卷积层、第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块、第五深度可分离卷积模块和全局池化层，所述静态图像分类神经网络模型的分类网络包括全连接层。其中，所述第二深度可分离卷积模块、所述第三深度可分离卷积模块和所述第五深度可分离卷积模块的个数均为2，所述第四深度可分离卷积模块的个数为5，其中，所述卷积层的输出通道数为32，所述第一深度可分离卷积模块的输出通道数为64，所述第二深度可分离卷积模块的输出通道数为128，所述第三深度可分离卷积模块的输出通道数为256，所述第四深度可分离卷积模块的输出通道数为512，所述第五深度可分离卷积模块的输出通道数为1024。需要说明的是，如本领域技术人员所能理解的，图3中所给出的第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块、第五深度可分离卷积模块的个数均为示例，所述第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块、第五深度可分离卷积模块的个数可以根据具体情况进行设置，本发明对此并不进行限定。61.进一步地，所述静态图像分类神经网络模型通过以下步骤训练得到：62.获取原始训练样本，所述原始训练样本包括原始样本图像和与所述原始样本图像对应的分类标签；63.对所述原始训练样本进行扩展，以获取扩展后的训练样本；64.设置静态图像分类神经网络模型的模型参数的初始值；65.根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值对预先搭建的静态图像分类神经网络模型进行训练，直至满足预设训练结束条件。66.由于原始训练样本的数据有限，而深度学习需要在一定数据上进行学习才能具有一定的鲁棒性，为了增加鲁棒性，需要做数据扩增操作，以增加所述静态图像分类神经网络模型的泛化能力。具体地，可以通过对所述原始样本图像进行随机刚性变换，具体包括：旋转、缩放、平移、翻转和灰度变换。更具体地，可以对所述原始样本图像平移-10到10个像素、旋转-10°到10°、水平翻转、垂直翻转、缩放0.9到1.1倍、灰度变换等以完成对训练样本的数据扩增。需要说明的是，由于对原始样本图像所进行的随机刚性变换不会对其分类结果造成影响，因此在进行样本扩展时，分类标签不需进行变换，即由同一个原始样本图像进行不同变换所得到的多个扩展后的样本图像所对应的分类标签都是与该原始样本图像所对应的分类标签一致的。67.静态图像分类神经网络模型的模型参数包括两类：特征参数和超参数。特征参数是用于学习图像特征的参数。特征参数包括权重参数和偏置参数。超参数是在训练时人为设置的参数，只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数，每次迭代批次大小。学习率可以看作是步长。举例而言，本发明可以设置学习率为0.001，训练迭代次数为100次。68.所述预设训练结束条件为扩展后的训练样本中的样本图像的预测分类结果与对应的分类标签的误差值收敛到预设误差值。此外，静态图像分类神经网络模型的训练过程为一个多次循环迭代过程，因此，可以通过设置迭代多少次结束训练，即预设训练结束条件还可以为迭代次数达到预设迭代次数。69.进一步地，所述根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值对预先搭建的静态图像分类神经网络模型进行训练，包括：70.根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值采用随机梯度下降法对预先搭建的静态图像分类神经网络模型进行训练。71.由于，模型训练过程实际上是最小化损失函数的过程，而求导数可以快速简单地实现这个目标，这种求导数的方法就是梯度下降法。由此，采用梯度下降法来训练静态图像分类神经网络模型，可以快速简单地实现静态图像分类神经网络模型的训练。72.本发明深度学习中主要利用梯度下降法来训练静态图像分类神经网络模型，然后再使用反向传播算法来更新优化静态图像分类神经网络模型中的权重参数和偏置参数。具体地，采用梯度下降法判断曲线斜率最大的地方为越快到达最优值的方向，反向传播法是采用概率学的链式求导方法来求偏导数以更新权重，通过不断迭代训练来更新参数，以学习到图像。反向传播算法更新权重参数和偏置参数的方法如下：73.1、首先进行前向传播，通过不断迭代训练来更新参数，以学习到图像，并且计算所有层(卷积层，反卷积层)的激活值，即图像经过卷积操作后以得到激活图像；74.2、对输出层(第nl层)，计算敏感值[0075][0076]其中，y为样本真实值，为输出层的预测值，表示输出层参数的偏导数；[0077]3、对于l＝nl-1,nl-2,.....的各层，计算敏感值[0078][0079]其中，wl表示第l层的权重参数，δl+1表示第l+1层的敏感值，f'(zl)表示第l层的偏导数；[0080]4、更新每层的权重参数和偏置参数：[0081][0082][0083]其中，wl和bl分别表示l层的权重参数和偏置参数，为学习率，al表示第l层的输出值，δl+1表示l+1层的敏感值。[0084]更进一步地，所述根据所述扩展后的训练样本和所述静态图像分类神经网络模型的模型参数的初始值采用随机梯度下降法对预先搭建的静态图像分类神经网络模型进行训练，包括：[0085]步骤a、将扩展后的训练样本作为静态图像分类神经网络模型的输入，根据所述静态图像分类神经网络模型的模型参数的初始值，获取所述扩展后的样本图像的预测分类结果；[0086]步骤b、根据所述扩展后的样本图像的预测分类结果和所述扩展后的样本图像对应的分类标签，计算损失函数值；以及[0087]步骤c、判断所述损失函数值是否收敛到预设误差值，如果是，训练结束，如果否，调整所述静态图像分类神经网络模型的模型参数，并将所述静态图像分类神经网络模型的模型参数的初始值更新为调整后的模型参数，返回执行所述步骤a。[0088]当损失函数值未收敛到预设误差值时，表示静态图像分类神经网络模型还不准确，需要继续对静态图像分类神经网络模型进行训练，如此，则调整模型参数，并将模型参数的初始值更新为调整后的模型参数，返回执行步骤a，进入下一次迭代过程。[0089]可见，损失函数是用来优化神经网络的目标函数，通过最小化该损失函数可以使神经网络学习更好。由于静态图像分类神经网络模型学习图像特征(例如良性结节特征和恶性结节特征)需要在一定的情境下才可以，即需要定义合适的损失函数才能学习到有效特征。本发明采用二值化分类网络损失函数l(w,b)作为损失函数。[0090]二值化分类网络损失函数l(w,b)如下所示：[0091][0092]式中，w和b表示静态图像分类神经网络模型的权重参数和偏置参数，m为训练样本的数量，m为正整数，xi表示输入的第i个训练样本，fw,b(xi)表示第i个训练样本的预测分类结果，yi表示第i个训练样本的分类标签。[0093]请继续参考图4，其示意性地给出了本发明一具体示例中的获取视频矩阵特征矩阵的示意图，图中的conv 2d表示标准卷积，dws conv表示深度可分离卷积。如图4所示，在该具体示例中，所述待分类视频由100帧图像组成，通过使用图3中所示的静态图像分类神经网络模型的骨架网络对这100帧图像分别进行特征提取，则可以得到100个1024维度的特征矩阵，也即可以得到100×1024的矩阵，通过在该100×1024的矩阵的列方向(即特征维度的方向)取最大值(即在列方向做最大池化)，即可以得到1×1024的特征矩阵，该特征矩阵即为视频特征矩阵。[0094]请继续参考图5和图6，其中图5示意性给出了一具体示例中的恶性结节视频中的每帧图像的特征矩阵和视频特征矩阵经pca方法(主成分分析法)处理后，压缩到二维空间显示出的相对位置示意图；图6示意性地给出了一具体示例中的良性结节视频中的每帧图像的特征矩阵和视频特征矩阵经pca方法(主成分分析法)处理后，压缩到二维空间显示出的相对位置示意图。如图5和图6所示，可以清晰地看出恶性结节视频的视频特征矩阵的主成分分析后的位置趋近右上方，而良性结节视频的视频特征矩阵的主成分分析后的位置趋近左下方。可见，通过最大池化方法可以综合各帧图像的信息并在特征分布上区分开结节的良恶性。[0095]在一种示范性的实施方式中，所述静态图像分类神经网络模型的骨架网络采用并行处理的方式同时对所获取的待分类视频中的多帧图像进行特征提取，以同时获取多帧图像的特征矩阵。[0096]由此，通过采用并行处理的方式同时对多帧图像进行特征提取，以同时获取多帧图像的特征矩阵(一帧图像对应一个特征矩阵)，可以进一步提高本发明提供的视频分类方法的分类效率。需要说明的是，如本领域技术人员所能理解的，每次能够并行处理的图像的总帧数由计算机的gpu的计算能力决定，计算机的gpu的计算能力越强，则每次能够并行处理的图像的总帧数越多。[0097]在一种示范性的实施方式中，所述根据所述视频特征矩阵进行视频的分类，包括：[0098]将所述视频特征矩阵输入所述静态图像分类神经网络模型的分类网络，以进行视频的分类。[0099]由此，由于所获取的视频特征矩阵的结构与图像的特征矩阵的结构相同，也即视频特征矩阵中的每一维度的特征值与图像的特征矩阵中的对应维度的特征值表征的是同一特性，因此可以直接将所获取的视频特征矩阵输入采用上文所述的静态图像分类神经网络模型中的分类网络(例如全连接层)中，以进行视频的分类(例如将视频分类为良性结节视频和恶性结节视频中的一种)，可见，通过直接采用静态图像分类神经网络模型中的分类网络进行视频的分类，可以在不附加额外神经网络的基础上，即可综合视频所有帧的完整信息即可对视频的分类结果进行预测(例如预测视频中的结节的良恶性)，从而可以有效降低训练成本。需要说明的是，如本领域技术人员所能理解的，可以通过改变上文所述的静态图像分类神经网络模型中的分类网络的分类阈值，以进一步提高采用上文所述的静态图像分类神经网络模型中的分类网络进行视频分类的准确率。[0100]具体地，请参考图7，其示意性地给出了本发明一具体示例中的采用全连接层进行视频分类的示意图。如图7所示，当所述静态图像分类神经网络模型中的分类网络为全连接层时，通过将全连接层的每一特征维度的权重与视频特征中的对应特征维度的特征值相乘，再经过非线性映射回归，即可以获取视频的分类结果(例如视频中的结节的良恶性的分类结果)。[0101]在另一种示范性的实施方式中，所述根据所述视频特征矩阵进行视频的分类，包括：[0102]将所述视频特征矩阵输入视频分类模型，以进行视频的分类。[0103]由此，通过将所述视频特征矩阵直接输入预先训练好的视频分类模型中，即可以获取所述视频的分类结果(例如视频中的结节的良恶性的分类结果)。[0104]在一种示范性的实施方式中，所述视频分类模型通过以下步骤训练得到：[0105]获取视频训练集，所述视频训练集包括视频特征矩阵和与所述视频特征矩阵对应的分类标签；[0106]设置视频分类模型的模型参数的初始值；[0107]根据所述视频训练集和所述视频分类模型的模型参数的初始值对视频分类模型进行训练，直至满足预设训练结束条件。[0108]具体地，每一例用于模型训练的视频的视频特征矩阵可以采用上文中的视频特征矩阵的获取方法得到：即采用上文所述的静态图像分类神经网络模型的骨架网络对视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵，对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵。由此，通过采用视频特征矩阵和与所述视频特征矩阵对应的分类标签进行视频分类模型的训练，可以仅需少量数据和较短的训练时间即可获取用于进行视频分类的视频分类模型，从而可以有效降低训练成本。[0109]需要说明的是，如本领域技术人员所能理解的，所述视频分类模型可以为随机森林分类模型、决策树分类模型、梯度提升树分类模型、多层感知机分类模型，线性svm分类模型，朴素贝叶斯分类模型等，本发明对此并不进行限定。由于随机森林表现性能好，与其他算法相比有着很大优势，且随机森林能处理很高维度的数据(也就是很多特征的数据)，并且不用做特征选择；此外在训练完之后，随机森林能给出哪些特征比较重要，且训练速度快，容易做成并行化方法(训练时，树与树之间是相互独立的)，由此，本发明优选采用随机森林分类模型作为视频分类模型。[0110]请继续参考图8，其示意性地给出了本发明一具体示例中的采用随机森林分类器进行视频分类的示意图。如图8所示，随机森林分类模型由多棵分类树构成，每棵分类树会对输入的特征矩阵进行分类，随机森林分类模型根据所有分类树的分类结果进行投票，最终作出视频的具体分类结果(例如视频中的结节的良恶性的分类结果)。[0111]与上述的视频分类方法相对应，本发明还提供一种视频分类系统，请参考图9，其示意性地给出了本发明一实施方式提供的视频分类系统的结构框图。如图9所示，所述视频分类系统包括图像特征获取模块100、视频特征获取模块200和分类模块300，其中，所述图像特征获取模块100用于采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵；所述视频特征获取模块200用于对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵；所述分类模块300用于根据所述视频特征矩阵进行视频的分类。由此本发明提供的视频分类系统先通过图像特征获取模块100获取视频中的每一帧图像的特征矩阵，再通过视频特征获取模块200对所有帧图像的特征矩阵进行最大池化处理，以获取全局的视频特征矩阵，最后再通过分类模块300根据视频特征矩阵进行视频的分类，从而可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息对视频进行分类，不仅可以有效提高视频分类的准确率，同时也可以有效降低成本。[0112]在一种示范性的实施方式中，所述分类模块300用于采用所述静态图像分类神经网络模型的分类网络或随机森林分类模型进行视频的分类。[0113]关于所述视频特征获取模块200是如何对所有帧图像的特征矩阵进行最大池化操作的，可以参考上文中的视频分类方法中的相关内容，故对此不再进行赘述。此外，由于本发明中的视频分类系统与上文所述的视频分类方法属于同一发明构思，因此本文对视频分类系统的介绍较为简单，关于图像特征获取模块100是如何获取每一帧图像的特征矩阵以及所述分类模块300是如何根据所述视频特征矩阵进行视频的分类的，可以参考上文中的视频分类方法中的相关内容，故对此不再进行赘述。[0114]基于同一发明构思，本发明还提供一种电子设备，请参考图10，其示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图10所示，所述电子设备包括处理器101和存储器103，所述存储器103上存储有计算机程序，所述计算机程序被所述处理器101执行时，实现上文所述的视频分类方法。由于本发明提供的电子设备与上文所述的视频分类方法属于同一发明构思，因此其具有上文所述的视频分类方法的所有优点，故对此不再进行赘述。[0115]如图10所示，所述电子设备还包括通信接口102和通信总线104，其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。[0116]本发明中所称处理器101可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器101是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。[0117]所述存储器103可用于存储所述计算机程序，所述处理器101通过运行或执行存储在所述存储器103内的计算机程序，以及调用存储在存储器103内的数据，实现所述电子设备的各种功能。[0118]所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。[0119]本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的视频分类方法。由于本发明提供的可读存储介质与上文所述的视频分类方法属于同一发明构思，因此其具有上文所述的视频分类方法的所有优点，故对此不再进行赘述。[0120]本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。[0121]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0122]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如java、smalltalk、c++，还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0123]综上所述，与现有技术相比，本发明提供的视频分类方法、系统、电子设备和存储介质具有以下优点：本发明通过先采用静态图像分类神经网络模型的骨架网络对所获取的待分类视频中的每一帧图像进行特征提取，以获取每一帧图像的特征矩阵；再对所有帧图像的特征矩阵进行最大池化操作，以获取频特征矩阵；最后根据所述视频特征矩阵进行视频的分类。由此，本发明通过先获取视频中的每一帧图像的特征矩阵，再对所有帧图像的特征矩阵进行最大池化处理，以获取全局的视频特征矩阵，最后再根据所获取的全局的视频特征矩阵进行分类，从而可以在不附加额外神经网络的基础上，综合视频所有帧的完整信息对视频进行分类，不仅可以有效提高视频分类的准确率，同时也可以有效降低成本。此外，本发明提供的视频分类方法通用性强，适用于在所有基于静态图像进行分类的人工智能模型中进行改造和应用，从而可以将各类图像分类神经网络模型改造为视频分类神经网络模型。[0124]应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0125]另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。[0126]上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!