人体行为识别方法、装置、计算机设备及存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及计算机视觉技术领域，尤其涉及一种人体行为识别方法、装置、计算机设备及存储介质。背景技术：2.随着移动互联网的发展，视频得到了广泛的应用，基于视频内容的各种需求也越来越多。同时，随着人工智能的发展，能够对视频进行分析的技术也越来越成熟，当前已经有很多人体关键点的检测技术，但是仅仅有关键点还不足以产生满足市场需求的应用，因此又出现了对人体行为识别的需求。当前已经有一些基于深度学习的识别方案，但这些方案都还不够成熟，主要表现在识别性能上，即人体行为识别的准确率较低。因此，如何提供一种人体行为识别方法，能够提高人体行为识别的准确率，成为了亟待解决的技术问题。技术实现要素：3.本技术实施例的主要目的在于提出一种人体行为识别方法、装置、计算机设备及存储介质，能够提高人体行为识别的准确率。4.为实现上述目的，本技术实施例的第一方面提出了一种人体行为识别方法，所述方法包括：5.获取待识别行为序列，所述待识别行为序列至少包括一个目标对象的初始待识别列向量；所述初始待识别列向量用于表征目标对象的骨骼关键点；6.获取模板行为序列，所述模板行为序列至少包括一个模板对象的模板列向量；所述模板列向量用于表征模板对象的骨骼关键点；7.根据预设的对角矩阵和所述初始待识别列向量进行对齐计算，以得到目标对齐行为序列；其中，所述目标对齐行为序列包括：目标行为列向量；8.对所述模板行为序列的每一所述模板列向量和所述目标对齐行为序列中每一所述目标行为列向量进行相似度计算，得到序列相似度；所述序列相似度用于表征所述目标对象的骨骼关键点与所述模板对象的骨骼关键点的相似度；9.根据所述序列相似度确定所述目标对象的行为识别结果。10.在一些实施例，在所述根据预设的对角矩阵和所述初始待识别列向量进行计算，以得到目标对齐行为序列之后，所述方法还包括：11.对所述目标对齐行为序列进行更新，得到更新后的目标对齐行为序列，具体包括：12.根据所述目标行为列向量和所述模板列向量进行差值计算，得到第一向量相差值；13.根据所述第一向量相差值对所述对角矩阵进行更新，直至所述第一向量相差值收敛，得到目标对角矩阵；14.根据所述目标对角矩阵对所述目标行为列向量进行对齐计算，得到更新后的目标对齐行为序列。15.在一些实施例，所述根据预设的对角矩阵和所述初始待识别列向量进行对齐计算，以得到目标对齐行为序列，包括：16.根据所述对角矩阵和所述初始待识别列向量进行相乘计算，得到初步对齐行为序列；其中，所述初步对齐行为序列包括至少一个初步对齐列向量，并确定每一所述初步对齐列向量的初步对齐列号；17.通过预设的列号匹配函数对所述初步对齐列号进行计算，以得到匹配列号；18.根据所述匹配列号对所述模板行为序列进行筛选处理，得到匹配模板列向量；19.根据所述初步对齐列向量和所述匹配模板列向量进行差值计算，得到第二向量相差值；20.根据所述第二向量相差值对所述列号匹配函数进行更新处理，得到目标列号匹配函数；21.根据所述目标列号匹配函数构建所述初步对齐列号和所述模板列向量的列号的匹配关系，得到列号匹配关系；22.根据所述列号匹配关系对多个所述初始待识别列向量进行筛选处理，以得到目标对齐行为序列。23.在一些实施例，所述获取待识别行为序列，包括：24.获取视频数据，所述视频数据包括至少一个初始待识别帧；25.对所述初始待识别帧进行骨骼点检测，得到m个初始骨骼点坐标；其中，m为正整数；26.将m个所述初始骨骼点坐标以预设的标准人体图进行映射，得到m个初步骨骼点坐标；其中，所述标准人体图包括m个标准骨骼点，每一所述标准骨骼点的坐标对应一个所述初始骨骼点坐标；27.根据预设的规范矩阵对m个所述初步骨骼点坐标进行规范处理，得到m个目标骨骼点坐标；28.对m个所述目标骨骼点坐标进行向量化处理，得到初始行为列向量；29.将所述视频数据的所述初始行为列向量进行汇集处理，得到所述待识别行为序列。30.在一些实施例，在根据预设的规范矩阵对m个所述初步骨骼点坐标进行规范处理，得到m个目标骨骼点坐标之前，所述方法还包括：31.构建预设的所述规范矩阵，具体包括：32.获取w个骨骼点样本坐标；其中，w为正整数；33.对w个所述骨骼点样本坐标进行马氏距离计算，得到目标距离；34.根据k均值算法和所述目标距离将w个所述骨骼点样本坐标进行分组处理，得到骨骼点样本坐标组；其中，所述骨骼点样本坐标组的组数量为k组；其中，k为正整数；35.对每一所述骨骼点样本坐标组的所述骨骼点样本坐标的进行均值计算，得到坐标均值；36.将k组所述骨骼点样本坐标和每一所述骨骼点样本坐标组的所述坐标均值输入至预设的多层感知器进行矩阵构建，得到所述规范矩阵。37.在一些实施例，所述多层感知器包括第一隐层和第二隐层；所述将k组所述骨骼点样本坐标和每一组的所述坐标均值输入至预设的多层感知器，以得到所述规范矩阵，包括：38.将所述第一隐层的连接权值矩阵、所述第二隐层的连接权值矩阵、k组所述骨骼点样本坐标和每一组的所述坐标均值进行损失计算，得到损失函数；39.根据所述损失函数对所述第一隐层的连接权值矩阵进行调整，直至所述损失函数收敛，得到目标连接权值矩阵；40.根据所述目标连接权值矩阵构建所述规范矩阵。41.在一些实施例，在获取所述模板行为序列之前，所述方法还包括：42.构建预设的所述模板行为序列，具体包括：43.获取视频数据，所述视频数据包括至少一个模板行为帧；44.对所述模板行为帧进行骨骼点检测，得到p个初始模板骨骼点坐标，其中，p为正整数；45.将p个所述初始模板骨骼点坐标以预设的标准人体图进行映射，得到p个初步模板骨骼点坐标；其中，所述标准人体图包括p个标准骨骼点，每一所述标准骨骼点的坐标对应一个所述初始模板骨骼点坐标；46.根据预设的规范矩阵对p个所述初步模板骨骼点坐标进行规范，得到p个目标模板骨骼点坐标；47.对p个所述目标模板骨骼点坐标进行向量化处理，得到模板行为列向量；48.将所述视频数据的所述模板行为列向量进行汇集处理，得到所述模板行为序列。49.为实现上述目的，本技术实施例的第二方面提出了一种人体行为识别装置，所述装置包括：50.待识别行为序列获取模块，用于获取待识别行为序列，所述待识别行为序列至少包括一个目标对象的初始待识别列向量；所述初始待识别列向量用于表征目标对象的骨骼关键点；51.模板行为序列获取模块，用于获取模板行为序列，所述模板行为序列至少包括一个模板对象的模板列向量；所述模板列向量用于表征模板对象的骨骼关键点；52.序列对齐模块，用于根据预设的对角矩阵和所述初始待识别列向量进行对齐计算，以得到目标对齐行为序列；其中，所述目标对齐行为序列包括：目标行为列向量；53.序列相似度计算模块，用于对所述模板行为序列的每一所述模板列向量和所述目标对齐行为序列中每一所述目标行为列向量进行相似度计算，得到序列相似度；所述序列相似度用于表征所述目标对象的骨骼关键点与所述模板对象的骨骼关键点的相似度；54.识别结果确定模块，用于根据所述序列相似度确定所述目标对象的行为识别结果。55.为实现上述目的，本技术实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。56.为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。57.本技术提出的人体行为识别方法、装置、计算机设备及存储介质，先通过对角矩阵将待识别行为序列转换成与模板行为序列对齐的目标对齐行为序列，再根据目标对齐序列与模板行为序列的序列相似度确定目标对象的行为识别结果。由于本技术实施例在序列匹配之前，先进行对齐操作，能够提高行为识别的准确率。附图说明58.图1是本技术实施例提供的人体行为识别方法的流程图；59.图2是图1中的步骤s101的流程图；60.图3是本技术另一实施例提供的人体行为识别方法的流程图；61.图4是图3中的步骤s305的流程图；62.图5是本技术另一实施例提供的人体行为识别方法的流程图；63.图6是图1中的步骤s103的流程图；64.图7是本技术另一实施例提供的人体行为识别方法的流程图；65.图8是人体骨骼点参考结构图；66.图9是本技术实施例提供的人体行为识别装置的模块结构框图；67.图10是本技术实施例提供的计算机设备的硬件结构示意图。具体实施方式68.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。69.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。70.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。71.首先，对本技术中涉及的若干名词进行解析：72.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。73.随着移动互联网的发展，视频得到了广泛的应用，基于视频内容的各种需求也越来越多。同时，随着人工智能的发展，能够对视频进行分析的技术也越来越成熟，当前已经有很多人体关键点的检测技术，但是仅仅有关键点还不足以产生满足市场需求的应用，因此又出现了对人体行为识别的需求。当前已经有一些基于深度学习的识别方案，但这些方案都还不够成熟。主要表现在识别性能上，即人体行为识别的准确率较低。74.因此，如何提供一种人体行为识别方法，能够提高人体行为识别的准确率，成为了亟待解决的技术问题。75.基于此，本技术实施例的主要目的在于提出人体行为识别方法、装置、计算机设备及存储介质，该方法包括先通过对角矩阵将待识别行为序列转换成与模板行为序列对齐的目标对齐行为序列，再根据目标对齐序列与模板行为序列的序列相似度确定目标对象的行为识别结果。由于本技术实施例在序列匹配之前，先进行对齐操作，能够提高行为识别的准确率。76.另外，相关技术中，采取模板行为和目标行为匹配的方式实现人体行为的识别。基于匹配的技术的主要挑战来自于：同样的行为，不同人做出来，时间跨度不同，单个动作也不尽相同。同时，如果要在计算有限的设备上部署，计算复杂度必须合理。因此主要存在如下一些问题需要解决：1.如何将不同位置、不同尺度的坐标合理地标准化，特别是考虑到人体是一个非常复杂的非刚体。2.如何提取人体关键点的信息，使得其距离度量能够较好地反应两个动作的差别，并屏蔽噪声的干扰。3.如何对齐两段行为序列，找到匹配的起始点和终点。4.尽可能小的计算复杂度。5.在线识别，即允许用户定义动作，这个用户包括产品外部的用户，或者产品团队内部的设计师。以上问题将在本技术实施例后续的方法步骤中得到解决。77.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。78.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。79.本技术实施例提供的人体行为识别方法，涉及人工智能技术领域。本技术实施例提供的人体行为识别方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现人体行为识别方法的应用等，但并不局限于以上形式。80.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。81.本技术实施例提供人体行为识别方法、装置、计算机设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的人体行为识别方法。82.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。83.图1是本技术实施例提供的人体行为识别方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s105。84.步骤s101，获取待识别行为序列，待识别行为序列包括目标对象的至少一个初始待识别列向量；初始待识别列向量用于表征目标对象的骨骼关键点；85.步骤s102，获取模板行为序列，模板行为序列包括模板对象的至少一个模板列向量；模板列向量用于表征模板对象的骨骼关键点；86.步骤s103，根据预设的对角矩阵和初始待识别列向量进行对齐计算，以得到目标对齐行为序列；其中，目标对齐行为序列包括：目标行为列向量；87.步骤s104，对模板行为序列的每一模板列向量和目标对齐行为序列中每一目标行为列向量进行相似度计算，得到序列相似度；序列相似度用于表征目标对象的骨骼关键点与模板对象的骨骼关键点的相似度；88.步骤s105，根据序列相似度确定目标对象的行为识别结果。89.本技术实施例所示意的步骤s101至步骤s105，先通过对角矩阵将待识别行为序列转换成与模板行为序列对齐的目标对齐行为序列，再根据目标对齐序列与模板行为序列的序列相似度确定目标对象的行为识别结果。由于本技术实施例在序列匹配之前，先进行对齐操作，能够提高行为识别的准确率。90.在一些实施例的步骤s101中，目标对象在视频中的行为是多变的，即视频中的每一帧对应目标对象不同的待识别行为。从而每一帧对应着不同的骨骼关键点。骨骼关键点包括肩、肘、腕、髋、膝和踝等。将骨骼关键点在每一帧中的位置映射为初始待识别列向量，因此初始待识别列向量可以表征目标对象的骨骼关键点，再将初始待识别列向量进行汇集，就可得到待识别行为序列。91.请参阅图2，在一些实施例中，步骤s101可以包括但不限于包括步骤s201至步骤s206：92.步骤s201，获取视频数据，视频数据包括至少一个初始待识别帧；93.步骤s202，对初始待识别帧进行骨骼点检测，得到m个初始骨骼点坐标；其中，m为正整数；94.步骤s203，将m个初始骨骼点坐标以预设的标准人体图进行映射，得到m个初步骨骼点坐标；其中，标准人体图包括m个标准骨骼点，每一标准骨骼点的坐标对应一个初始骨骼点坐标；95.步骤s204，根据预设的规范矩阵对m个初步骨骼点坐标进行规范处理，得到m个目标骨骼点坐标；96.步骤s205，对m个目标骨骼点坐标进行向量化处理，得到初始行为列向量；97.步骤s206，将视频数据的初始行为列向量进行汇集处理，得到待识别行为序列。98.本技术实施例所示意的步骤s201至步骤s206，视频数据包括至少一个初始待识别帧，每一初始待识别帧包括目标对象的待识别行为。对每一帧进行骨骼点检测，得到待识别行为对应的m个骨骼关键点坐标，将m个骨骼关键点坐标进行向量化，可得到初始待识别列向量。视频数据的至少一个初始待识别列向量进行汇集，得到待识别行为序列。其中，m为正整数。需要说明的是，m个骨骼点至少包括有肩、肘、腕、髋、膝和踝。参照图8，m可为12，也可为13。本技术实施例对m的取值不做具体限制。99.在一些实施例的步骤s202中，基于深度学习的人体骨骼点检测器对初始待识别帧进行骨骼点检测，得到骨骼关键点坐标，记为{p1,…,pm}。得到的骨骼点可以是二维点，也可是三维点。本技术实施例对此不作具体限定。但在本技术实施例中，主要以二维点作为具体示例。100.在步骤s202得到骨骼点坐标后，需对骨骼点进行分析。但在骨骼点坐标分析之前，最基本的工作是要使不同帧检测到的骨骼点坐标映射到同一个空间中，这样才可以进行有意义的计算。但是由于人体骨骼点不是一个刚体，姿态极其复杂，直接挑选某些点作为参考点进行坐标映射并不合适。因此，在步骤s203中，引入了标准人体图进行坐标映射。101.在一些实施例的步骤s203中，可选取十字型人体图作为标准人体图，标记出其标准骨骼点、并得到标准骨骼点的坐标，记为{v1,…,vm}。将标准骨骼点的坐标和骨骼关键点的坐标输入预设的坐标映射函数，坐标映射函数为：[0102][0103]其中，[0104][0105]使用最小二乘法对上述公式进行求解，以得到m个初步骨骼点坐标。在求解过程中，a中的具体参数表达如下：[0106][0107][0108]其中，表示初始待识别帧的第m个骨骼关键点p的x坐标，表示标准人体图的第m个标准骨骼点的x坐标，表示初始待识别帧的所有骨骼关键点的x坐标的均值，表示标准人体图的所有标准骨骼点的x坐标的均值。同理可得y坐标的含义，不再赘述。[0109]通过q′m＝a[pm；1]得到骨骼关键点pm转换到标准空间中的齐次坐标q′m，去掉最后一维常数1，得到人体关键点在标准空间中的坐标，记作qm。将初始待识别帧所有的骨骼关键点的坐标汇集得到初始行为列向量，即x＝[q1；…；qm；…,qm]，x∈r2m×1。需要说明的是，r2m*1表示r是一个2m*1的矩阵，也等同于2m长的列向量。[0110]在一些实施例的步骤s204中，规范矩阵为me*(2m)的矩阵，即规范矩阵通过预设的规范矩阵将步骤s203得到的初步骨骼点坐标转换到一个规范空间，即y＝wex，得到目标骨骼点坐标。me是一个经验值，表示列向量的维度，本实施例可取30。在这个规范空间中，y中的每个分量的分布更均匀，即各个分量自身的方差尽可能相等，分量之间的协方差尽可能为0。在经过规范矩阵的处理后，使用欧式距离可以较好地表达模板行为序列和待识别行为序列之间的差别。另外，这个规范矩阵也可以用来平滑掉一些噪声，本实施例能够进一步提高序列相似度的计算准确度，从而提高人体识别的准确率。[0111]请参阅图3，在一些实施例中，在步骤s204之前，本实施例包括构建预设的规范矩阵，具体可以包括但不限于包括步骤s301至步骤s305：[0112]步骤s301，获取w个骨骼点样本坐标；其中，w为正整数；[0113]步骤s302，对w个骨骼点样本坐标进行马氏距离计算，得到目标距离；[0114]步骤s303，根据k均值算法和目标距离将w个骨骼点样本坐标进行分组处理，得到骨骼点样本坐标组；其中，骨骼点样本坐标组的组数量为k组；其中，k为正整数；[0115]步骤s304，对每一骨骼点样本坐标组的骨骼点样本坐标的进行均值计算，得到坐标均值；[0116]步骤s305，将k组骨骼点样本坐标和每一骨骼点样本坐标组的坐标均值输入至预设的多层感知器进行矩阵构建，得到规范矩阵。[0117]本技术实施例所示意的步骤s301至步骤s305，以马氏距离作为骨骼坐标点之间的距离衡量标准，通过k均值算法将w个骨骼点样本坐标划分得到k组。k的取值可为样本数量的十分之一到五十分之一之间。将步骤s304的坐标均值作为每一骨骼点样本坐标xi的指定标签并将坐标均值和每一组的骨骼点样本坐标输入至多层感知器进行矩阵构建，最终得到规范矩阵。[0118]请参阅图4，在一些实施例中，多层感知器包括第一隐层和第二隐层；步骤s305可以包括但不限于包括步骤s401至步骤s403：[0119]步骤s401，将第一隐层的连接权值矩阵、第二隐层的连接权值矩阵、k组骨骼点样本坐标和每一组的坐标均值进行损失计算，得到损失函数；[0120]步骤s402，根据损失函数对第一隐层的连接权值矩阵进行调整，直至损失函数收敛，得到目标连接权值矩阵；[0121]步骤s403，根据目标连接权值矩阵构建规范矩阵。[0122]在步骤s401中，损失函数为在步骤s401中，损失函数为其中，λ1、λ2和λ3是损失函数的超参数，λ1、λ2和λ3根据具体需求确定，例如设置为0.1。we表示第一隐层连接权值矩阵、ve表示二隐层的连接权值矩阵，i表示单位矩阵。[0123]在步骤s402中，可通过坐标均值实现对骨骼点样本坐标的标记，将无监督的问题变成了有监督的问题。另外，损失函数的求解可以基于当前成熟的深度学习框架实现，损失函数中所有的运算都可以表达为计算图，且属于常规的运算，很容易实现。具体求解过程不再赘述。[0124]在一些实施例的步骤s102中，模板行为序列与待识别行为序列同理，不再赘述。模板行为序列作为匹配模板，目的是得到在待识别行为序列中是否与模板行为序列一致的行为识别结果。更具体地，模板行为序列中包括事先设置的模板行为，目的是确定在待识别行为序列中是否存在该模板行为。[0125]请参阅图5，在一些实施例中，在步骤s102之前，本实施例包括构建预设的模板行为序列，具体可以包括但不限于包括步骤s501至步骤s506：[0126]步骤s501，获取视频数据，视频数据包括至少一个模板行为帧；[0127]步骤s502，对模板行为帧进行骨骼点检测，得到p个初始模板骨骼点坐标，其中，p为正整数；[0128]步骤s503，将p个初始模板骨骼点坐标以预设的标准人体图进行映射，得到p个初步模板骨骼点坐标；其中，标准人体图包括p个标准骨骼点，每一标准骨骼点的坐标对应一个初始模板骨骼点坐标；[0129]步骤s504，根据预设的规范矩阵对p个初步模板骨骼点坐标进行规范，得到p个目标模板骨骼点坐标；[0130]步骤s505，对p个目标模板骨骼点坐标进行向量化处理，得到模板行为列向量；[0131]步骤s506，将视频数据的模板行为列向量进行汇集处理，得到模板行为序列。[0132]本技术实施例所示意的步骤s501至步骤s506，视频数据包括至少一个模板行为帧，每一模板行为帧包括模板对象的模板行为。对每一模板行为帧进行骨骼点检测，得到模板行为对应的p个初始模板骨骼关键点坐标。对p个初始模板骨骼关键点坐标进行坐标映射，坐标映射后又进行规范矩阵的规范处理，最终得到目标模板骨骼点坐标。将p个目标模板骨骼关键点坐标进行向量化，可得到模板行为列向量。视频数据的所有模板行为列向量构建得到模板行为序列。其中，p为正整数。需要说明的是，p个骨骼点至少包括有肩、肘、腕、髋、膝和踝。参照图8，p可为12，也可为13。本技术实施例对p的取值不做具体限制。[0133]在一些实施例的步骤s103中，在模板行为序列和待识别行为序列匹配之前，考虑到目标对象和模板对象即使存在相同的行为，但由于目标对象和模板对象的尺寸不同，降低行为识别的准确率。因此，在本技术实施例中，引入对角矩阵先将待识别行为序列转换成与模板行为序列对齐的目标对齐行为序列。对角矩阵目的是让目标对象的尺寸与模板对象一致，有助于提高后续序列相似度的准确率，从而提高行为识别结果。[0134]在一示例中，模板行为序列为输入序列y＝[y1,…,yn]，其中，n≥l。wp是一个的对角阵。me是一个经验值，表示列向量的维度，本示例取30。目标对齐序列z＝wpy，目标对齐序列包括l个目标行为列向量。需要说明的是，根据对角矩阵对初始待识别列向量进行尺度上的调整，减少空间尺度上的不一致对后续行为匹配的干扰。另外，如果n＝2l，那么就从n个样本中每两个抽取一个。[0135]请参阅图6，在一些实施例中，步骤s103可以包括但不限于包括步骤s601至步骤s607：[0136]步骤s601，根据对角矩阵和初始待识别列向量进行相乘计算，得到初步对齐行为序列；其中，初步对齐行为序列包括至少一个初步对齐列向量，并确定每一初步对齐列向量的初步对齐列号；[0137]步骤s602，通过预设的列号匹配函数对初步对齐列号进行计算，以得到匹配列号；[0138]步骤s603，根据匹配列号对模板行为序列进行筛选处理，得到匹配模板列向量；[0139]步骤s604，根据初步对齐列向量和匹配模板列向量进行差值计算，得到第二向量相差值；[0140]步骤s605，根据第二向量相差值对列号匹配函数进行更新处理，得到目标列号匹配函数；[0141]步骤s606，根据目标列号匹配函数构建初步对齐列号和模板列向量的列号的匹配关系，得到列号匹配关系；[0142]步骤s607，根据列号匹配关系对多个初步对齐列向量进行筛选处理，以得到目标对齐行为序列。[0143]本技术实施例所示意的步骤s601至步骤s607，一般的，在两段序列进行相似度计算之前，如何对齐两段行为序列，即找到匹配的起始点和终点十分关键。在本实施例中，事先设置一个列号匹配函数，列号匹配函数用于表示初始对齐列向量和模板列向量的列号匹配关系。根据初步对齐列向量和匹配模板列向量的第二向量相差值更新列号匹配函数，得到目标列号匹配函数。最后根据目标列号匹配函数对初步对齐行为序列进行筛选，得到目标对齐行为序列。可以理解的是，目标对齐行为序列为初始待识别行为序列的一个子序列。[0144]在一示例中，列号匹配函数为单调函数f(t)，f(t)定义为(1+e-5(g(t)a-0.5))-1，以为例,aj的初始值都设置为0，其中j∈[1,h]，本示例中h为4。g(t)可以展开成一个矩阵，由四个长度为l的列向量组成。g(t)生成方法是：第一列所有值是0.1；第二列的元素由生成；第三列的元素由生成；第四列的元素由四列的元素由生成，其中t∈[1,l]。通过gctw提出的优化算法对单调函数f(t)进行求解，就可得到最优的a，从而得到目标匹配函数。通过目标匹配函数对多个初步对齐列向量进行采样，从而使得目标对齐行为序列和目标行为序列之间的距离(即欧式距离的和)最小。[0145]在另一实施例中，若对角矩阵一直不变，考虑到更换模板行为序列后，序列对齐效果有所下降。因此，在步骤s103之后，本技术实施例还包括：对目标对齐行为序列进行更新，得到更新后的目标对齐行为序列。请参阅图7，具体包括步骤s701至步骤s703：[0146]步骤s701，根据目标行为列向量和模板列向量进行差值计算，得到第一向量相差值；[0147]步骤s702，根据第一向量相差值对对角矩阵进行更新，直至第一向量相差值收敛，得到目标对角矩阵；[0148]步骤s703，根据目标对角矩阵对目标行为列向量进行对齐计算，得到更新后的目标对齐行为序列。[0149]本技术实施例所示意的步骤s701至步骤s703，根据模板列向量和目标行为列向量的第一向量相差值对对角矩阵进行更新，可以减少因对角矩阵固定而对序列对齐的产生影响。可以理解的是，通过目标对角矩阵进行序列对齐，进一步提高序列对齐的准确率。更新后的目标对齐行为序列记为zc。[0150]在一些实施例的步骤s104中，对模板行为序列的每一模板列向量和目标对齐行为序列中每一目标行为列向量进行相似度计算，相似度计算公式为：[0151]其中，i表示第i列。[0152]若目标对齐行为序列是通过目标对角矩阵更新后的，则相似度计算公式为：[0153]其中，i表示第i列。[0154]在一些实施例的步骤s105中，事先设置一个相似度阈值，当序列相似度大于相似度阈值，将待识别行为序列识别为模板行为序列对应的模板行为。相似度阈值是一个经验值，可根据需要调整，一般可以设置为0.7。[0155]请参阅图9，本技术实施例还提供人体行为识别装置，可以实现上述人体行为识别方法，图9为本技术实施例提供的人体行为识别装置的模块结构框图，该装置包括：待识别行为序列获取模块901、模板行为序列获取模块902、序列对齐模块903、序列相似度计算模块904和识别结果确定模块905。其中，待识别行为序列获取模块901用于获取待识别行为序列，待识别行为序列至少包括一个目标对象的初始待识别列向量；初始待识别列向量用于表征目标对象的骨骼关键点；模板行为序列获取模块902用于获取模板行为序列，模板行为序列至少包括一个模板对象的模板列向量；模板列向量用于表征模板对象的骨骼关键点；序列对齐模块903用于根据预设的对角矩阵和初始待识别列向量进行对齐计算，以得到目标对齐行为序列；其中，目标对齐行为序列包括：目标行为列向量；序列相似度计算模块904用于对模板行为序列的每一模板列向量和目标对齐行为序列中每一目标行为列向量进行相似度计算，得到序列相似度；序列相似度用于表征目标对象的骨骼关键点与模板对象的骨骼关键点的相似度；识别结果确定模块905用于根据序列相似度确定目标对象的行为识别结果。[0156]需要说明的是，该人体行为识别装置的具体实施方式与上述人体行为识别方法的具体实施例基本相同，在此不再赘述。[0157]本技术实施例还提供了计算机设备，计算机设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述人体行为识别方法。该计算机设备可以为包括平板电脑、车载电脑等任意智能终端。[0158]请参阅图10，图10示意了另一实施例的计算机设备的硬件结构，计算机设备包括：[0159]处理器1001，可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；[0160]存储器1002，可以采用只读存储器(read only memory，rom)、静态存储设备、动态存储设备或者随机存取存储器(random access memory，ram)等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本技术实施例的人体行为识别方法；[0161]输入/输出接口1003，用于实现信息输入及输出；[0162]通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；[0163]总线1005，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息；[0164]其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。[0165]本技术实施例还提供了存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述人体行为识别方法。[0166]存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。[0167]本技术实施例提供的人体行为识别方法、人体行为识别装置、计算机设备及存储介质，该方法包括：获取待识别行为序列；获取模板行为序列；根据预设的对角矩阵和初始待识别列向量进行对齐计算，以得到目标对齐行为序列；根据模板行为序列和目标对齐序列进行相似度计算，得到序列相似度；根据序列相似度确定目标对象的行为识别结果。本技术实施例先通过对角矩阵将待识别行为序列转换成与模板行为序列对齐的目标对齐行为序列，再根据目标对齐序列与模板行为序列的序列相似度确定目标对象的行为识别结果。由于本技术实施例在序列匹配之前，先进行对齐操作，能够提高行为识别的准确率。[0168]本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。[0169]本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。[0170]以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。[0171]本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。[0172]本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0173]应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。[0174]在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0175]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0176]另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0177]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。[0178]以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!