基于毫米波雷达的环境鲁棒的手语识别方法及系统

计算;推算;计数设备的制造及其应用技术1.本发明属于无线感知领域，涉及无线信号处理、特征融合、特征提取，以 及手语分类。背景技术：2.据资料统计，我国听力语言残疾居视力残疾，肢残，智残等五大残疾之首， 超过2000万人。聋哑人在生活中会遇到各种各样的问题，其中一个问题是，他 们不能与正常人方便的进行沟通。聋哑人之间可以通过手语来进行交流，但是 大部分正常人是不会手语的，需要开发出手语翻译系统，来解决聋哑人与正常 人之间的交流问题。3.现有的大部分手语翻译系统，分为以下几类：基于计算机视觉，基于可穿 戴设备，基于wi-fi设备等等。其中，基于计算机视觉的，会需要采集人的身 体全部信息，在使用过程中，会侵犯人的隐私，造成隐私泄露问题，同时在光 照条件不理想的情况下，识别效率会明显的降低。基于可穿戴设备的手语翻译 系统，需要手语执行者佩戴一些特殊定制的手套，或者手表等设备，从而获取 到手臂的移动信息，从而识别手语。但是，这种设备，需要手语执行者全程佩 戴该设备，会造成用户的不适感，降低用户的体验。基于wi-fi设备的手语识 别，当用户执行手语动作时，csi值会发生一定程度的变化。基于wi-fi设备的 手语识别采用csi作为原始的特征，再在上面进行处理，从而对手语进行分类。 然而，csi对环境的要求较高，当用户换了一个环境之后，比如，用户与wifi 设备的相对角度，相对距离，以及wifi设备部署在另外一个环境时，识别率会 显著下降。4.综上所述，现有方法存在以下问题：1.侵犯隐私，在光照条件不理想时， 识别率降低；2.需要用户一直佩戴，降低用户舒适性；3.对环境不鲁棒，环境 变化识别率会降低。技术实现要素：5.针对以上技术存在的不足，本发明的目的在于，提供一种基于毫米波雷达 的环境鲁棒的手语翻译系统，来解决上述方法中存在的问题。6.为了解决上述技术问题，本发明采用如下技术方案予以实现：7.一种基于毫米波雷达的环境鲁棒的手语识别方法，该方法包括以下步骤：8.步骤1：设计毫米波雷达信号方案9.确定毫米波雷达型号、频段、使用带宽、斜率、采样率、帧数、帧间隔和 adc采样点数；10.步骤2：毫米波雷达设备部署11.确定毫米波雷达设备的部署高度，确定毫米波雷达设备与人之间的距离和 角度以及确定毫米波雷达摆放的场景；12.步骤3：毫米波雷达信号的采集13.根据确定的毫米波雷达设备的部署高度，在毫米波雷达设备与人之间的不 同距离、不同角度，以及毫米波雷达所处的不同场景进行数据收集；14.步骤4：手语无线信号特征处理15.选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物 体信息的无线信号range，doppler特征作为分类网络的特征；16.步骤5：手语单词分类17.使用分类网络对手语的回波无线信号进行分类，所述的分类网络为无线信 号的frame-range，frame-doppler特征以及手语符号即对应的标签经过训练得 到深度神经网络学习模型；18.所述的分类网络包括特征提取部分和分类部分，特征提取部分将range， doppler特征输入到两个特征提取器进行特征提取，将提取到的特征形成融合特 征，最后在融合特征的基础上提取特征；分类部分将融合特征，输入到全连接 层中，对特征进行分类，输出预测的概率结果。19.进一步地，所述的步骤4手语无线信号特征处理，具体包括：20.将原始无线信号经过两次傅里叶变换之后，得到一个frame-range-doppler的 三维数据，然后经过去除静态物体，即去除掉doppler在0附近的信号，再分 别沿着range维度和doppler维度进行压缩，得到frame-range、 frame-doppler两个特征图像。21.进一步地，步骤5手语单词分类步骤中训练得到的深度神经网络模型，其 中深度神经网络的输入样本为：[0022][0023]式中：[0024]d为输入到神经网络中数据样本的集合表示；[0025]i为输入到神经网络的第i个样本；[0026]f为经过两次fft以及静态物体消除的三维无线信号特征；[0027]|x(f)|i为无线信号特征沿着range维度压缩得到的frame-doppler特征图 像；[0028]|r(f)|i为无线信号特征沿着doppler维度压缩得到的frame-range特征图 像；[0029]yi为第i个样本的类别标签；[0030]n为输入到神经网络的样本总数。[0031]所述的深度神经网络模型采用resnet的网络框架作为其特征提取层，将两 个特征分别输入到两个基于resnet的特征提取器中，用于提取信息，再将提取 到的特征进行融合，不断进行特征提取以及特征分类。[0032]进一步地，基于resnet的特征融合的分类网络，其深度神经网络的激活函 数为relu。[0033]所述的基于resnet的特征融合的分类网络，其深度神经网络的优化函数选 择adamdelta。[0034]步骤4手语无线信号特征处理去除静态信号，只提取出手势的动态信息。[0035]本发明还公开了一种基于毫米波雷达的环境鲁棒的手语识别系统，包括数 据采集板、处理器，还包括毫米波雷达板，所述的毫米波雷达板与数据采集板 相连，数据采集板与处理器相连，毫米波雷达板与处理器相连；毫米波雷达板 包括发送天线和接收天线；所述的处理器执行权利要求1-7任意一项所述的方 法。[0036]本发明与现有技术相比，具有如下技术效果：[0037](ⅰ)本发明的方法通过去除静态物体的影响，只提取手势动作的特征信 号，同时，可以通过对特征图像的平移来消除距离的影响。从而，对环境距离 鲁棒性好、抗干扰强。[0038](ⅱ)本发明的方法相对于现有大部分采用frame-range-doppler作为输入 特征相比，使用frame-range，frame-doppler作为输入特征，降低了输入的维 度，极大的压缩了需要使用的数据大小，同时，输入到神经网络的数据量也减 少，可以更快的进行计算，提升性能。[0039](ⅲ)本发明的方法通过采用resnet的基本网络架构，对两个特征进行提 取融合，相较于单个特征，能够有效的提升识别率。[0040](ⅳ)本发明的方法所需要的神经网络模型小，占用的资源较小，模型的 处理速度较快，系统延迟低。附图说明[0041]图1为本发明的方法流程图[0042]图2为本发明无线手势信号处理与分类方法的流程示意图[0043]图3为无线手势分类网络结构示意图[0044]图4为本发明在不同环境下的识别性能图[0045]图5为本发明在不同距离下的识别性能图[0046]图6为本发明在不同角度下的识别性能图图7为本发明对照实验默认环境布置条件[0047]以下结合实施例对本发明的具体内容作进一步详细解释说明。具体实施方式[0048]与本发明技术方案相关的相关名词解释：frame代表的是毫米波雷达的帧， doppler代表的是多普勒，range代表的是距离，pc指的是个人电脑，fmcw指 的是调频连续波，fft指的是快速傅里叶变换，relu指的是线性整流单元。[0049]遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明 并不局限于以下具体实施例，凡在本技术技术方案基础上做的等同变换均落入 本发明的保护范围。[0050]实施例1：[0051]参见图1，本实施例给出一种基于毫米波雷达的环境鲁棒的手语识别分类方 法，该方法包括以下步骤：[0052]步骤1：设计毫米波雷达信号方案[0053]确定毫米波雷达型号、频段、使用带宽、斜率、采样率、帧数、帧间隔和 adc采样点数；[0054]步骤2：毫米波雷达设备部署[0055]确定毫米波雷达设备的部署高度，确定毫米波雷达设备与人之间的距离和 角度以及确定毫米波雷达摆放的场景；[0056]步骤3：毫米波雷达信号的采集[0057]根据确定的毫米波雷达设备的部署高度，在毫米波雷达设备与人之间的不 同距离、不同角度，以及毫米波雷达所处的不同场景进行数据收集；[0058]步骤4：手语无线信号特征处理[0059]选择采用原始无线信号经过两次傅里叶变换同时再经过去噪，去除静态物 体信息的无线信号range，doppler特征作为分类网络的特征；[0060]步骤5：手语单词分类[0061]使用分类网络对手语的回波无线信号进行分类，所述的分类网络为无线信 号的frame-range，frame-doppler特征以及手语符号即对应的标签经过训练得 到深度神经网络学习模型；[0062]所述的分类网络包括特征提取部分和分类部分，特征提取部分将range， doppler特征输入到两个特征提取器进行特征提取，将提取到的特征形成融合特 征，最后在融合特征的基础上提取特征；分类部分将融合特征，输入到全连接 层中，对特征进行分类，输出预测的概率结果。[0063]参见图2，步骤4手语无线信号特征处理具体过程如下，将原始无线信号经过两 次傅里叶变换之后，得到一个frame-range-doppler的三维数据，然后经过去 除静态物体，即去除掉doppler在0附近的信号，再分别沿着range维度和 doppler维度进行压缩，得到frame-range、frame-doppler两个特征图像。[0064]参见图3，步骤5手语单词分类步骤中训练得到的深度神经网络模型，所述 深度神经网络的输入样本为：[0065][0066]式中：[0067]d为输入到神经网络中数据样本的集合表示；[0068]i为输入到神经网络的第i个样本；[0069]f为经过两次fft以及静态物体消除的三维无线信号特征；[0070]|x(f)|i为无线信号特征沿着range维度压缩得到的frame-doppler特征图 像；[0071]|r(f)|i为无线信号特征沿着doppler维度压缩得到的frame-range特征图 像；[0072]作为本实施例的一种优选方案，深度神经网络采用resnet框架作为特征提 取的基础框架，随着网络深度增加,会出现一种退化问题,也就是当网络变得越 来越深的时候,训练的准确率会趋于平缓,但是训练误差会变大,这明显不是过 拟合造成的,因为过拟合是指网络的训练误差会不断变小,但是测试误差会变 大。为了解决这种退化现象,resnet被提出，resnet也即为残差网络。残差网络 与普通网络不同的地方就是引入了跳跃连接,这可以使上一个残差块的信息没 有阻碍的流入到下一个残差块,提高了信息流通,并且也避免了由与网络过深所 引起的消失梯度问题和退化问题，残差网络是由多个浅的网络融合而成，浅的 网络在训练时不会出现消失的梯度问题,所以它能够加速网络的收敛。[0073]作为本实施例的一种优选方案，基于resnet的深度神经网络的优化函数选 择adamdelta。adadelta是对adagrad的扩展，最初方案依然是对学习率进行自 适应约束，但是进行了计算上的简化。adagrad会累加之前所有的梯度平方，而adadelta只累加固定大小的项，并且也不直接存储这些项，仅仅是近似计算对 应的平均值。adadelta在训练初中期，加速效果不错，较快。[0074]本实施例中，神经网络的选择，输入数据特征选择、激活函数选择、优化 函数的选择、相互协同增效使得识别率最优，分类效果最佳、使得神经网络拓 扑最小化。[0075]使得分类效果最优，通过调整卷积核大小、卷积步长等参数，观察组数据 的分类效果，选择分类效果最高的作为网络的超参数。[0076]参见图4-图6，为了进一步验证本发明的直接技术效果，申请人结合不同 环境、不同距离、不同角度，进行试验对比效果。具体对照试验条件及对照方 案如下：[0077]本实验默认条件为：毫米波雷达放置在实验受试者的正前方，距离受试者 1.4米，距离地面0.9米，具体如图7所示。[0078]1、验证不同环境下的性能[0079]本实验设置三个环境(受试者所处的环境)进行验证，分别为走廊、 大厅、办公室，其他条件与默认条件保持一致。[0080]2、验证不同距离下的性能[0081]本实验设置三个不同距离(毫米波雷达距离受试者的距离)进行验证， 距离分别为：1米，1.4米，1.8米，其他条件与默认条件保持一致。[0082]3、验证不同角度的性能[0083]本实验设置5个角度(毫米比雷达与受试者的水平方位角)进行验证， 分别为：-40°，-20°，0°，20°，40°，其他条件与默认条件保 持一致。[0084]与此同时，本发明还给出了一种基于毫米波雷达的环境鲁棒的手语识别系 统，包括数据采集板、处理器，还包括毫米波雷达板，所述的毫米波雷达板与 数据采集板相连，数据采集板与处理器相连，毫米波雷达板与处理器相连；毫 米波雷达板包括发送天线和接收天线；所述的处理器执行本发明的基于毫米波 雷达的环境鲁棒的手语识别方法。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!