一种基于双毫米波雷达的船舶环境下步态识别方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及人员特征识别技术领域，具体涉及一种基于双毫米波雷达的船舶环境下步态识别方法。背景技术：2.船舶作为一种重要的水上交通运输工具，其自身安全保障和信息的捕获受到越来越多的关注，人们积极利用各种各样的手段提高船舶自身信息精细化程度，通过一系列方法来完善船舶的各个方面，但是舱室众多、结构复杂、金属干扰严重的船载环境给步态信息检测手段带来了一系列困境和约束。3.现有步态识别分类方法，通常先由监控摄像头采集人的步态，通过检测与跟踪获得步态的视频序列，经过预处理分析提取该人的步态特征，但是这种识别方法需要在光线良好且无视野遮挡的情况下进行而且识别精度有限，在特殊情况下容易被模仿，在恶劣条件下可能无法识别或者识别效率较低，不能做到快速多用户识别。同时，用摄像机识别还会涉及到个人隐私问题。因此，在能使用毫米波雷达解决问题的情况下，应该是优先选择毫米波雷达，既不会收到天气、光线或者恶劣情况的影响，也不会侵犯个人隐私。然而现有的使用毫米波雷达进行步态识别的方法，大多数是基于正常步态下的识别，当目标对象在其他步态下时无法做出正确识别。4.综上所述，尽管目前一些步态识别分类技术比较成熟，但是较为复杂的船载环境对这些技术的应用产生了极大的约束作用。在使用单毫米波雷达检测步态时，单毫米波雷达的视野有限而且船舶在航行中存在船体震动、舱壁金属干扰等场景，这些因素会导致检测精度，特征获取不全等问题。使用双毫米波雷达正常放置的情况下，雷达获取的信号也会产生混叠，上雷达同样会探测到下肢的特征，下雷达也会探测到上肢的特征。因此，基于船载环境下的步态识别分类仍然没有较全面、系统化、特征较为纯净的方法。技术实现要素：5.本发明的目的在于提供一种基于双毫米波雷达的船舶环境下步态识别方法，以实现在船舶复杂的检测环境下，对人员步态特征的准确识别。6.为解决上述技术问题，本发明提供了一种技术方案：一种基于双毫米波雷达的船舶环境下步态识别方法，包括以下步骤，s1、在船舱的人员检测区域设置第一毫米波雷达与第二毫米波雷达，使第一毫米波雷达检测被测目标在船载环境下的上肢特征，第二毫米波雷达检测被测目标在船载环境下的下肢特征，并且第一毫米波雷达与第二毫米波雷达的检测范围不重叠；s2、对第一毫米波雷达的探测数据进行点云预处理，获得上肢的3d点云特征图，对第一毫米波雷达和第二毫米波雷达的探测数据进行短时傅里叶变换分别得到上肢的速度-时间特征图和下肢的速度-时间特征图，对下肢的速度-时间特征图再进行快速傅里叶变换得到下肢的节奏频率-速度特征图；s3、根据设定的步态类目建立mmgrnet网络；对上肢的3d点云特征图、上肢的速度-时间特征图、下肢的速度-时间特征图、下肢的节奏频率-速度特征图降噪后，输入mmgrnet网络，mmgrnet网络运算后输出被测目标的步态类型；其中mmgrnet网络包括输入层、卷积层、lstm层以及全连接层。7.按上述方案，s2中点云预处理包括点云聚类。8.按上述方案，点云聚类具体采用dbscan算法。9.按上述方案，s3中具体采用ca-cfar进行降噪。10.按上述方案，输入层的数据形式为t×x×y×4，其中t为帧数，x、y由第一毫米波雷达与第二毫米波雷达所采集信号的数据形式决定；卷积层包括4组并行的cnn，每组cnn用于分别处理每帧的上肢的3d点云特征图、上肢的速度-时间特征图、下肢的速度-时间特征图、下肢的节奏频率-速度特征图；lstm层共有4个，分别与每组cnn对应，每个lstm层包括t个单向lstm cell，同一lstm层的t个单向lstm cell用于分别处理某一类型特征图的t帧。11.按上述方案，mmgrnet网络输出的步态类型包括正常行走、跑动、拄拐跛行、不拄拐跛行。12.按上述方案，mmgrnet网络中，对于单个特征图输入的损失函数为，其中，为单特征图输入的损失函数；为输入的特征图帧数；为样本数据，通过验分析得到；为步态类型总数；为特征图类型总数；为实际步态类型标签；为预测步态类型标签；步态识别损失函数为，上式中，为多种特征图融合时的网络计算损失；ω为单特征图的损失权重；为步态识别损失函数。13.一种基于双毫米波雷达的步态检测装置，该装置用于实现上文所述方法中的对被测目标在船载环境下的上肢特征与下肢特征的检测；该装置包括第一毫米波雷达与第二毫米波雷达，其中第一毫米波雷达检测被测目标在船载环境下的上肢特征，第二毫米波雷达检测被测目标在船载环境下的下肢特征，并且第一毫米波雷达与第二毫米波雷达的检测范围不重叠。14.一种基于mmgrnet网络的步态识别装置，该装置用于实现上文所述方法中的对第一毫米波雷达与第二毫米波雷达的探测数据的处理以及对被测目标的步态类型的识别，其包括探测数据处理模块以及步态类型识别模块；其中探测数据处理模块对第一毫米波雷达的探测数据进行点云预处理，获得上肢的3d点云特征图，对第一毫米波雷达和第二毫米波雷达的探测数据进行短时傅里叶变换分别得到上肢的速度-时间特征图和下肢的速度-时间特征图，对下肢的速度-时间特征图再进行快速傅里叶变换得到下肢的节奏频率-速度特征图；探测数据处理模块完成对第一毫米波雷达和第二毫米波雷达的探测数据的处理后将处理后的探测数据传输至步态类型识别模块；步态类型识别模块中设置有根据设定的步态类目建立的mmgrnet网络，mmgrnet网络包括输入层、卷积层、lstm层以及全连接层；步态类型识别模块接收到来自探测数据处理模块的经过处理的探测数据后，首先对经过处理的探测数据进行降噪，而后输入mmgrnet网络进行步态类型识别，最后输出被测目标的步态类型。15.一种基于双毫米波雷达的船舶环境下步态识别系统，该系统用于实现上文所述的基于双毫米波雷达的船舶环境下步态识别方法，包括步态检测装置与步态识别装置；其中，步态检测装置包括第一毫米波雷达与第二毫米波雷达，其中第一毫米波雷达检测被测目标在船载环境下的上肢特征，第二毫米波雷达检测被测目标在船载环境下的下肢特征，并且第一毫米波雷达与第二毫米波雷达的检测范围不重叠；步态识别装置包括探测数据处理模块以及步态类型识别模块，探测数据处理模块对第一毫米波雷达的探测数据进行点云预处理，获得上肢的3d点云特征图，对第一毫米波雷达和第二毫米波雷达的探测数据进行短时傅里叶变换分别得到上肢的速度-时间特征图和下肢的速度-时间特征图，对下肢的速度-时间特征图再进行快速傅里叶变换得到下肢的节奏频率-速度特征图；探测数据处理模块完成对第一毫米波雷达和第二毫米波雷达的探测数据的处理后将处理后的探测数据传输至步态类型识别模块；步态类型识别模块中设置有根据设定的步态类目建立的mmgrnet网络，mmgrnet网络包括输入层、卷积层、lstm层以及全连接层；步态类型识别模块接收到来自探测数据处理模块的经过处理的探测数据后，首先对经过处理的探测数据进行降噪，而后输入mmgrnet网络进行步态类型识别，最后输出被测目标的步态类型。16.本发明的有益效果是：1、考虑到船舱环境的船体震动、船体金属反射的特性，通过特殊的双毫米波雷达设置方式，对被测对象的上、下肢分别进行检测；现有技术中的双毫米波雷达设置方式仅将两个毫米波雷达在竖直方向上的不同高度放置，而本方案中通过调整毫米波雷达的探测角度，使第一毫米波雷达和第二毫米波雷达的检测范围互不重复，进而使获取的上肢特征与下肢特征更加纯净，提高了后续的步态类型识别精度。本发明还提供了一种mmgrnet网络进行步态类型的识别，在船舶环境下实现了对步态的自定时间高精度识别，在短时识别时可以保证识别精度，在长时间识别时可以减小计算量。17.2、利用ca-cfar算法对特征图进行降噪；同时利用dbscan算法进行点云聚类，保留较为完整的目标特征，将异常值识别为噪声，减少了船舶环境下由于金属反射造成的干扰。附图说明18.图1是本发明一实施例的第一毫米波雷达与第二毫米波雷达设置方式示意图；图2是本发明一实施例的基于双毫米波雷达的船舶环境下步态识别方法流程图；图3是本发明一实施例的mmgrnet网络结构示意图；图4是本实施例中获取的正常行走的下肢的速度-时间特征图；图5是本实施例中获取的正常行走的下肢的节奏频率-速度特征图；图6是本实施例中获取的正常行走的上肢的速度-时间特征图；图7是本实施例中获取的跑动的下肢的速度-时间特征图；图8是本实施例中获取的跑动的下肢的节奏频率-速度特征图；图9是本实施例中获取的跑动的的上肢的速度-时间特征图；图10是本实施例中获取的拄拐跛行的下肢的速度-时间特征图；图11是本实施例中获取的拄拐跛行的下肢的节奏频率-速度特征图；图12是本实施例中获取的拄拐跛行的的上肢的速度-时间特征图；图13是本实施例中获取的不拄拐跛行的下肢的速度-时间特征图；图14是本实施例中获取的不拄拐跛行的下肢的节奏频率-速度特征图；图15是本实施例中获取的不拄拐跛行的的上肢的速度-时间特征图。具体实施方式19.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。20.参见图2，一种基于双毫米波雷达的船舶环境下步态识别方法，包括以下步骤，s1、在船舱的人员检测区域设置第一毫米波雷达与第二毫米波雷达，使第一毫米波雷达检测被测目标在船载环境下的上肢特征，第二毫米波雷达检测被测目标在船载环境下的下肢特征，并且第一毫米波雷达与第二毫米波雷达的检测范围不重叠；s2、对第一毫米波雷达的探测数据进行点云预处理，获得上肢的3d点云特征图，对第一毫米波雷达和第二毫米波雷达的探测数据进行短时傅里叶变换分别得到上肢的速度-时间特征图和下肢的速度-时间特征图，对下肢的速度-时间特征图再进行快速傅里叶变换得到下肢的节奏频率-速度特征图；s3、根据设定的步态类目建立mmgrnet网络；对上肢的3d点云特征图、上肢的速度-时间特征图、下肢的速度-时间特征图、下肢的节奏频率-速度特征图降噪后，输入mmgrnet网络，mmgrnet网络运算后输出被测目标的步态类型；其中mmgrnet网络包括输入层、卷积层、lstm层以及全连接层。21.其中，第一毫米波雷达的设置高度位于人的腰部或腰部以上，第二毫米波雷达的高度位于人的大腿至腰部；第一毫米波雷达的探测范围倾斜向上且其探测角下边界水平，第二毫米波雷达的探测范围倾斜向下且其探测角上边界水平；第一毫米波雷达与第二毫米波雷达与探测区域的设置距离根据实验结果的识别情况标定得到。22.第一、第二毫米波雷达的探测数据的获取过程具体为，通过若干发射天线发射信号，再由若干接收天线接收回波信号，将发射信号与回波信号混合产生中频信号，而后将混合产生的中频信号进行低通滤波，再将低通滤波后的信号输入到模拟数字转换器中将其转换为数字形式的离散信号，最后对该离散信号处理得到探测数据。其中探测数据包括目标的距离信息、微多普勒信息以及角度信息。23.进一步地，s2中点云预处理包括点云聚类。24.进一步地，点云聚类具体采用dbscan算法；与其他聚类算法相比，dbscan有一些很大的优势。首先，它不需要输入要划分的聚类个数。其次，即使数据点非常不同，它也会将它们纳入聚类中，这一特点使得在船舶环境下也能保留较为完整的目标特征，同时dbscan能将异常值识别为噪声，它可以在需要时输入过滤噪声的参数，因此在船舶环境下使用dbscan算法能有效减少船舶金属环境的干扰，使得上肢点云特征更加纯净，提高检测精度，也不会丢失应有的目标特征。在得到想要的3d点云特征后，可以通过网格划分法来寻找目标点云的边界线，得到目标点云线后便可以得到目标对象上肢的大致轮廓作为识别特征，基于此，本实施例还提供了一种被测目标身高的检测方法，通过将目标点云边界的长度和第一毫米波雷达的放置高度相加得到。25.进一步地，s3中具体采用ca-cfar进行降噪，这种降噪算法能够有效降低均匀杂波的干扰，适应船舶环境下具有较强金属反射（属于均匀型杂波）的特点。26.进一步地，输入层的数据形式为t×x×y×4，其中t为帧数，x、y由第一毫米波雷达与第二毫米波雷达所采集信号的数据形式决定（本实施例中所采用的毫米波雷达为iwr6843毫米波雷达，这种雷达采集到的数据形式为128×256的矩阵，故本实施例中x=128，y=256）；卷积层包括4组并行的cnn，每组cnn用于分别处理每帧的上肢的3d点云特征图、上肢的速度-时间特征图、下肢的速度-时间特征图、下肢的节奏频率-速度特征图；lstm层共有4个，分别与每组cnn对应，每个lstm层包括t个单向lstm cell，同一lstm层的t个单向lstm cell用于分别处理某一类型特征图的t帧。27.进一步地设定的步态类目中具有的步态类型包括正常行走、跑动、拄拐跛行、不拄拐跛行。28.进一步地，mmgrnet网络中，对于单个特征图输入的损失函数为，其中，为单特征图输入的损失函数；为输入的特征图帧数；为样本数据，通过验分析得到；为步态类型总数；为特征图类型总数；为实际步态类型标签；为预测步态类型标签；步态识别损失函数为，上式中，为多种特征图融合时的网络计算损失；ω为单特征图的损失权重；为步态识别损失函数。29.利用本实施例所提供的方法得到的不同步态类型下的各特征图详见图4~图15。可以看出，正常行走时的下肢的节奏频率-速度特征图的频率分布范围小于跑动时的下肢的节奏频率-速度特征图的频率分布范围，这是因为跑动时腿部运动频率更高，因此在节奏频率-速度特征图中有较多的频率段分布。通过图4、图6的上下肢的速度-时间特征图与图7、图9的上下肢的速度-时间特征图比较可以看出，正常行走时的波形周期比跑动时更长，故能够通过上述特点对跑动和正常行走这两种步态作区分。30.对于拄拐跛行与不拄拐跛行这两种步态类型，通过图11以及图14可以看出，跛行时节奏频率-速度特征图中的频率分布范围很小，波形较窄，这是因为跛行时腿部运动频率较低，且动作较为单一，因此频率分布范围较小容易与正常行走和跑动区分开来。通过图10、图12、图13、图15可以看出，跛行的平均速度相比于正常行走和跑动时更低，故特征图中的波形周期更长。对于跛行时拄拐与不拄拐的区分，通过图11和图14的下肢节奏频率-速度特征图很难作出有效区分，因为这两种步态的腿部运动频率都较低，在节奏频率-速度特征图中反映的图像较为接近；而通过图10、图13的下肢的速度-时间特征图可以看出，图10中的波形中有较多虚影，而图13中波形较为纯净，这是因为拄拐状态下拐杖的运动与腿部运动混合在了一起对波形产生了干扰，使得这两个步态的下肢速度-时间特征图波形有明显区别，基于此能够对跛行状态下拄拐与不拄拐的情况做区分。31.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!