一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置1.技术领域2.本发明属于数字信号处理器应用技术领域，具体涉及基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置。3.背景技术：4.21世纪以来，不断加重的老龄化已经开始给世界各国的经济和社会带来了诸多挑战。相比于其他发展中国家，中国的老龄化问题尤为严峻。老年人口特别是高龄老年人口比例增加改变了原本健康的社会年龄结构，消耗大量资源并减缓国家经济的发展速度。5.在这种状况下，利用智能技术来为特殊人群（特别是老年人）提供帮助，使其能够在生活的环境中延长独立生活的时间，变得尤为重要。6.对于被识别对象的姿态或手势的主要监测方法分为三类：可穿戴设备、视频监控和雷达传感器。7.佩戴可穿戴设备的缺点在于可检测动作单一，通常只能检测较为剧烈的摔倒动作，并且这一类设备需要长时间的贴身佩戴，在浴室等私密场景下反而并不方便。视频监控的方式虽然有较高的姿态或手势识别的准确度，但是不可避免地会存在许多场景下的隐私保护问题。8.而使用毫米波雷达实现对被监测目标的行为监测时，不仅仅能避免出现安全隐私泄漏事故，而且还能保持着较高的检查精度。但是如何使用毫米波雷达采集到的点云数据，实现高精度、无漏检误检的姿态估计是目前存在的较大问题。9.有鉴于此，提出结合使用先进的数字信号处理手段和深度学习模型，提取不同标准下的频域信号，并实现被识别对象动作姿态的准确分类。技术实现要素：10.针对上述技术问题，本发明提供基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置，解决应用场景隐私限制条件复杂、动作和手势识别精度低等问题，为养老等场景下的人物动作姿态估计或手势识别提供数据和结果。11.本发明的目的可以通过采取如图1所示的技术方案达到：步骤1：用多普勒毫米波雷达信号的发射与接收模块，采集被识别对象在活动距离的雷达反射信号；步骤2：用毫米波雷达信号数据预处理模块处理所述雷达反射信号，得到有效的信号数据；步骤3：通过多重多普勒频率特征提取模块，提取空间内有效信息点的多重频域特征；步骤4：利用多重频域特征，采用动作分类模块，确定所述特征下被识别对象的动作或手势；步骤5：判别被识别对象的动作，异常动作时触发设备报警机制。12.进一步地，所述的基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置，其特征在于，所述毫米波雷达装置放置于被识别对象活动距离内，通过发射天线向外发射电磁波信号，经过所述被识别对象会产生所述反射信号，所述装置无需接触所述检测者。13.进一步地，所述的如图2所示的数据预处理模块，其特征在于，对被识别对象反射的多帧点云信号，使用叠加和连续积分器加强信号强度，丰富信号特征，此处以20帧为例，并增加时间窗信息；然后由杂波滤除操作来消除背景产生的静态或低频杂波，得到如图3所示的部分动作下的点云信号。14.进一步地，所述的杂波滤除操作，其特征在于，包含分解和重构两个部分：对雷达信号以滑动时间窗构建时间窗尺度矩阵，随后对所述矩阵进行奇异值分解；删除奇异谱中前几个较大奇异值所对应的信号子距离，此处以最大奇异值为例；最后重构删除后剩余的信号子距离。15.进一步地，所述的如图4所示多重多普勒频率特征提取模块，其特征在于，包含两个部分：提取所述预处理后数据的时间多普勒频域特征图和距离多普勒频域特征图。16.进一步地，所述的提取数据的时间多普勒频域特征图，其特征在于，首先，在时间窗信息下提取频率，使用基于埃尔米特函数的多窗短时傅里叶变换，然后加权叠加多个不同阶数埃尔米特窗下的短时傅里叶变换，以此来提高信号集中度，从而获得更佳的频率分辨率；然后，以时间为横轴，频率为纵轴，以频率数值为纵轴对应位置的像素值，绘制时间多普勒频率图。17.进一步地，所述的提取数据的距离多普勒频域特征图，其特征在于，对于所述预处理后的雷达信号数据，首先，使用基于埃尔米特函数的多窗短时傅里叶变换分别提取长时间尺度内，每一个短时间尺度频率特征；然后，以距离为横轴，频率为纵轴，以频率数值为纵轴对应位置的像素值，绘制距离多普勒频域特征图。18.进一步地，所述如图5所示的动作分类模块，其特征在于，构建分类深度神经网络，所述网络的输入为两张频域特征图，输出为判断输入是哪一种动作的概率分布，选择分类概率最大的动作为分类结果；网络训练的损失函数为其中n为每一批次训练的样本数，是预测第i个样本属于真实分类的概率，和分别是调整正负样本的权重和难分类样本调制系数。19.进一步地，所述的分类深度神经网络，其特征在于，首先，对每一个输入特征图，都有一个独立的多层卷积及残差结构分支网络，提取两张频域特征图内的有效特征；然后，整合两个分支的特征；接着，用特征金字塔对所述整合特征进行特征融合；最后，所述融合后的特征经过全连接层后引入归一化函数得到输出结果。20.进一步地，所述的基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置，其特征在于，所述方法在判断被识别对象出现设定姿态或手势后，以跌倒和剧烈挥手为例，生成报警信息；所述报警信息依照图6所示的信息传递方式，通过无线通讯被发送至所述装置的关联用户终端。21.进一步地，一种装置，其特征在于，所述装置中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的基于毫米波雷达和深度学习算法的姿态和手势识别方法。22.与现有技术相比，本发明所提供的基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置具有以下优点效果：1)本发明所提供的基于毫米波雷达和深度学习算法的姿态和手势识别方法能够收集并整理适用于姿态估计和手势识别的分类数据集；2)本发明所提供的基于毫米波雷达和深度学习算法的姿态和手势识别方法能够改进传统雷达处理信号时存在的高噪声、高信息丢失现象；3)本发明所提供的基于毫米波雷达和深度学习算法的姿态和手势识别方法能够提取雷达信号内关于姿态估计或手势识别的有效特征信息；4)本发明所提供的基于毫米波雷达和深度学习算法的姿态和手势识别方法能够实现高精度的姿态估计或手势识别分类结果；5)本发明所提供的基于毫米波雷达和深度学习算法的姿势和手势识别装置能实现将识别判断结果和报警信息推送至关联设备。附图说明23.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。24.图1为本发明的结构示意图；图2为对毫米波雷达反射信号的预处理流程图；图3为对不同姿态下采集到的原始点云数据进行预处理后得到的点云数据图4为毫米波雷达点云数据在双标准下的特征提取算法流程图；图5为对提取后的特征进行融合处理并得到姿态估计和手势识别结果的深度模型网络；图6为本发明的报警机制。具体实施方式25.为了使本发明实施例的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。26.请参阅图1-6，本发明还提供基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置，其包括步骤：步骤1：用多普勒毫米波雷达信号的发射与接收模块，采集被识别对象在活动距离的雷达反射信号；具体的，所述毫米波雷达装置放置于被识别对象活动距离内，通过发射天线向外发射电磁波信号，经过所述被识别对象会产生所述反射信号，所述装置无需接触所述检测者。27.步骤2：用毫米波雷达信号数据预处理模块处理所述雷达反射信号，得到有效的信号数据；具体的，对被识别对象反射的多帧点云信号，使用叠加和连续积分器加强信号强度，丰富信号特征，此处以20帧为例，并增加时间窗信息；然后由杂波滤除操作来消除背景产生的静态或低频杂波。28.具体的，所述的杂波滤除操作，包含分解和重构两个部分：对雷达信号以滑动时间窗构建时间窗尺度矩阵，随后对所述矩阵进行奇异值分解；删除奇异谱中前几个较大奇异值所对应的信号子距离，此处以最大奇异值为例；最后重构删除后剩余的信号子距离。29.步骤3：通过多重多普勒频率特征提取模块，提取空间内有效信息点的多重频域特征；具体的，包含两个部分：提取所述预处理后数据的时间多普勒频域特征图和距离多普勒频域特征图。30.具体的，提取数据的时间多普勒频域特征图：首先，在时间窗信息下提取频率，使用基于埃尔米特函数的多窗短时傅里叶变换，然后加权叠加多个不同阶数埃尔米特窗下的短时傅里叶变换，以此来提高信号集中度，从而获得更佳的频率分辨率；然后，以时间为横轴，频率为纵轴，以频率数值为纵轴对应位置的像素值，绘制时间多普勒频率图。31.具体的，提取数据的距离多普勒频域特征图：首先，使用基于埃尔米特函数的多窗短时傅里叶变换分别提取长时间尺度内，每一个短时间尺度频率特征；然后，以距离为横轴，频率为纵轴，以频率数值为纵轴对应位置的像素值，绘制距离多普勒频域特征图。32.步骤4：利用多重频域特征，采用动作分类模块，确定所述特征下被识别对象的动作或手势；具体的，构建分类深度神经网络，所述网络的输入为两张频域特征图，输出为判断输入是哪一种动作的概率分布，选择分类概率最大的动作为分类结果；网络训练的损失函数为其中n为每一批次训练的样本数，是预测第i个样本属于真实分类的概率，和分别是调整正负样本的权重和难分类样本调制系数。33.具体的，对于所述的分类深度神经网络，首先，对每一个输入特征图，都有一个独立的多层卷积及残差结构分支网络，提取两张频域特征图内的有效特征；然后，整合两个分支的特征；接着，用特征金字塔对所述整合特征进行特征融合；最后，所述融合后的特征经过全连接层后引入归一化函数得到输出结果。34.步骤5：判别被识别对象的动作，异常动作时触发设备报警机制。35.具体的，所述方法在判断被识别对象出现设定姿态或手势后，以跌倒和剧烈挥手为例，生成报警信息；所述报警信息通过无线通讯被发送至所述装置的关联用户终端。36.本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包括于本发明的至少一个实施例或示例中。本发明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何一个或多个实施例或示例中以合适的方式结合。37.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!