一种基于Kinect的运动障碍康复训练系统

计算;推算;计数设备的制造及其应用技术一种基于kinect的运动障碍康复训练系统技术领域1.本技术涉及kinect领域，尤其涉及基于kinect的运动障碍康复训练系统。背景技术：2.随着我国老龄化的加重，中风、高血压等导致瘫痪的病人不断增加，生产事故、交通事故等也是导致肢体功能丧失的一个很大因素，对这些病人进行康复训练是十分必须的，而且康复训练还用于儿童自闭症的干预训练中。康复训练是患者通过指定的动作或者对患者进行按摩等使机体进行活动，以此恢复机体功能的过程，我国康复训练还是以传统康复训练方式为主，康复训练师对病人进行康复动作的指导或者借助一个康复训练设备协助病人进行康复训练。但是对于病患者而言，现在的康复训练费用较高，尤其是一对一的康复训练。3.随着自动化控制技术以及计算机技术的发展，出现了康复训练机器人，在康复训练机器人中设定好程序，有机器人协助病人进行康复训练，但是康复训练机器人成本比较高，而且患者也只能在医院或者康复机构进行康复训练，在实际应用中并不多。后来又有康复训练厂商推出了基于虚拟现实的康复训练系统，kinect设备是微软研发的基于视觉的交互设备，kinect可以采集声音、彩色图像、深度图像，获取25个骨骼点，通过模式识别等方式识别人体的运动，而且可以直接和电脑连接，十分适合在家中使用。将kinect应用到康复训练中取得了不错的效果，而且相对于传统的康复训练以及康复训练机器人，基于kinect的训练系统成本更低，而且更有趣味性，患者在家中即可进行康复训练。但是患者在胖瘦、高低穿着、性别等上都有区别，例如成年人和儿童做同样的动作，或者穿着宽松衣服和紧身衣服，基于kinect的康复训练系统可能会识别儿童以及宽松着装的动作不标准，甚至识别为不同的动作，现在的基于kinect的障碍康复训练系统通用性较差。技术实现要素：4.为了解决上述问题，一方面，本发明提供了一种基于kinect的运动障碍康复训练系统，所述系统包括以下模块：5.用户画像生成模块，用于调整彩色图像和深度图像同步，获取用户彩色图像，将所述用户彩色图像转换为第一灰度图像；获取与所述用户彩色图像对应的用户深度图像，将所述用户深度图像转换为第二灰度图像；根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像；6.训练动作判断模块，获取用户输入的难易度，并根据用户画像计算得到与用户对应的训练参数权重，根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格。7.优选地，所述根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像，具体为：8.对第一灰度图像和第二灰度图像分别执行：获取neck和head骨骼点的直线l1，在neck骨骼点处得到与直线l1垂直的线宽，得到neck宽度；获取wristright和elbowrist骨骼点的直线l2，在wristright骨骼点处得到与直线l2垂直的线宽，得到wristright宽度；获取wristleft和elbowleft骨骼点的直线l3，在wristleft骨骼点处得到与直线l3垂直的线宽，得到wristleft宽度；9.将第一灰度图像中neck宽度和第二灰度图像中neck宽度的平均值作为用户neck宽度；将第一灰度图像中wristright宽度和第二灰度图像中wristright宽度的平均值作为用户wristright宽度；将第一灰度图像中wristleft宽度和第二灰度图像中wristleft宽度的平均值作为用户wristleft宽度；10.通过head骨骼点获得用户身高，将所述用户身高、性别、所述用户neck宽度、所述用户wristright宽度、所述用户wristleft宽度作为用户画像参数。11.优选地，所述根据用户画像计算得到与用户对应的训练参数权重，具体为：根据所述用户身高、性别获得与身高、性别对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值；12.若userneck+userwristright+userwristleft＞sneck+swristright+swristleft，则与用户对应的训练参数权重13.若userneck+userwristright+userwristleft＝sneck+swristright+swristleft，则与用户对应的训练参数权重w1＝0；14.若userneck+userwristright+userwristleft＜sneck+swristright+swristleft，则与用户对应的训练参数权重15.其中，userneck为所述用户neck宽度，userwristright为所述用户wristright宽度，userwristleft为所述用户wristleft宽度，sneck为所述用户neck宽度标准值，swristright为所述用户wristright宽度标准值，swristleft为所述用户wristleft宽度标准值。16.优选地，所述根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格，具体为：17.获取用户骨骼点的动作，并计算所述用户骨骼点的动作与标准动作的相似度，根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，若所述相似度不小于所述新的相似度阈值，则判定用户动作合格，否则，判定用户动作不合格。18.优选地，所述根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，具体为：19.thr＝k·(1+w1)·thr'，其中thr为所述新的相似度阈值，k为所述难易度，thr'为所述标准相似度阈值。20.优选地，所述用户彩色图像为只包含用户的彩色图像；所述用户深度图像为只包含用户的深度图像。21.另一方面，本发明还提供了一种非易失性计算机存储介质，所述非易失性计算机存储介质中存储有指令，当指令在处理器上运行时，使得处理器执行如下步骤：22.s1，调整彩色图像和深度图像同步，获取用户彩色图像，将所述用户彩色图像转换为第一灰度图像；获取与所述用户彩色图像对应的用户深度图像，将所述用户深度图像转换为第二灰度图像；根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像；23.s2，训练动作判断模块，获取用户输入的难易度，并根据用户画像计算得到与用户对应的训练参数权重，根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格。24.优选地，所述根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像，具体为：25.对第一灰度图像和第二灰度图像分别执行：获取neck和head骨骼点的直线l1，在neck骨骼点处得到与直线l1垂直的线宽，得到neck宽度；获取wristright和elbowrist骨骼点的直线l2，在wristright骨骼点处得到与直线l2垂直的线宽，得到wristright宽度；获取wristleft和elbowleft骨骼点的直线l3，在wristleft骨骼点处得到与直线l3垂直的线宽，得到wristleft宽度；26.将第一灰度图像中neck宽度和第二灰度图像中neck宽度的平均值作为用户neck宽度；将第一灰度图像中wristright宽度和第二灰度图像中wristright宽度的平均值作为用户wristright宽度；将第一灰度图像中wristleft宽度和第二灰度图像中wristleft宽度的平均值作为用户wristleft宽度；27.通过head骨骼点获得用户身高，将所述用户身高、所述用户neck宽度、所述用户wristright宽度、所述用户wristleft宽度作为用户画像参数。28.优选地，所述根据用户画像计算得到与用户对应的训练参数权重，具体为：根据所述用户身高、性别获得与身高、性别对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值；29.若userneck+userwristright+userwristleft＞sneck+swristright+swristleft，则与用户对应的训练参数权重30.若userneck+userwristright+userwristleft＝sneck+swristright+swristleft，则与用户对应的训练参数权重w1＝0；31.若userneck+userwristright+userwristleft＜sneck+swristright+swristleft，则与用户对应的训练参数权重32.其中，userneck为所述用户neck宽度，userwristright为所述用户wristright宽度，userwristleft为所述用户wristleft宽度，sneck为所述用户neck宽度标准值，swristright为所述用户wristright宽度标准值，swristleft为所述用户wristleft宽度标准值。33.优选地，所述根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格，具体为：34.获取用户骨骼点的动作，并计算所述用户骨骼点的动作与标准动作的相似度，根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，若所述相似度不小于所述新的相似度阈值，则判定用户动作合格，否则，判定用户动作不合格。35.本发明提供的基于kinect的康复训练系统，解决了现有的康复训练系统中不能根据用户的身体特征调整运动参数的问题，能够根据用户的高低、胖瘦以及康复阶段判断用户的动作是否合格，对于体形较胖的用户，自动降低康复训练的难度，并结合用户设置的难易度调整康复训练，而且只需要借助现有的kinect，不需要体重秤等额外的设备，十分适合在家庭中进行康复训练的用户。附图说明36.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。37.图1为kinect实物图；38.图2为kinect中骨骼点示意图；39.图3为本发明的结构示意图；40.图4位本发明实施例三流程图。具体实施方式41.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。43.第一实施例，本发明提供了一种基于kinect的运动障碍康复训练系统，所述系统包括以下模块：44.用户画像生成模块，用于调整彩色图像和深度图像同步，获取用户彩色图像，将所述用户彩色图像转换为第一灰度图像；获取与所述用户彩色图像对应的用户深度图像，将所述用户深度图像转换为第二灰度图像；根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像；45.如图1所示，kinect可以采集三种信息，分别为通过彩色摄像头采集视频数据，通过红外发射器和红外接收器采集深度数据，通过麦克风采集音频数据。视频数据包括多个视频帧也即多个图像，图像是rgb格式，更符合人眼的视觉，深度图是物体与kinect的距离构成的图，音频数据采集周围人说话。借助于深度图，kinect可以获取人体骨骼点，也被称为关节点、骨关节点，在kinect的第一个版本中，可以采集20个骨骼点，在第二个版本中可以采集25个骨骼点，如图2所示。46.彩色图像和深度图像是两种不同的原理采集的图像，为了能更精确的确定用户特征，本发明同时采用用户彩色图像和用户深度图像进行分析，用户彩色图像通过kinectmanager.instance.getusersclrtex()获取，用户深度图像通过kinectmanger.instance.getuserslbltex()获取，通过上述方法获取的用户彩色图像和用户深度图像是直接经过抠图得到仅含用户的图像，因此，无需再进行抠图等。47.一般情况下，身材较胖的用户脖子和手腕也较粗，用户的胖瘦可以通过脖子的宽度、手腕的宽度进行判断，而且由于脖子、手腕不会穿戴衣服等，可以排除用户穿宽松衣服的影响。48.训练动作判断模块，获取用户输入的难易度，并根据用户画像计算得到与用户对应的训练参数权重，根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格。49.用户动作的识别有多种方式，包括静态识别方法和动态动作识别，例如模板匹配法、状态机识别法等，动作识别的主要原理是判断骨骼点的位置关系，以及骨骼点移动与预设移动点的相似度。如果相似度大，则说明用户在进行某项运动，否则则判断用户没有进行该项动作或者动作不标准。50.所述根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像，具体为：51.对第一灰度图像和第二灰度图像分别执行：获取neck和head骨骼点的直线l1，在neck骨骼点处得到与直线l1垂直的线宽，得到neck宽度；获取wristright和elbowrist骨骼点的直线l2，在wristright骨骼点处得到与直线l2垂直的线宽，得到wristright宽度；获取wristleft和elbowleft骨骼点的直线l3，在wristleft骨骼点处得到与直线l3垂直的线宽，得到wristleft宽度；52.将第一灰度图像中neck宽度和第二灰度图像中neck宽度的平均值作为用户neck宽度；将第一灰度图像中wristright宽度和第二灰度图像中wristright宽度的平均值作为用户wristright宽度；将第一灰度图像中wristleft宽度和第二灰度图像中wristleft宽度的平均值作为用户wristleft宽度；53.通过head骨骼点获得用户身高，将所述用户身高、性别、所述用户neck宽度、所述用户wristright宽度、所述用户wristleft宽度作为用户画像参数。54.在一个具体实施例中，所述根据用户画像计算得到与用户对应的训练参数权重，具体为：根据所述用户身高、性别获得与身高、性别对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值；55.若userneck+userwristright+userwristleft＞sneck+swristright+swristleft，则与用户对应的训练参数权重56.若userneck+userwristright+userwristleft＝sneck+swristright+swristleft，则与用户对应的训练参数权重w1＝0；57.若userneck+userwristright+userwristleft＜sneck+swristright+swristleft，则与用户对应的训练参数权重58.其中，userneck为所述用户neck宽度，userwristright为所述用户wristright宽度，userwristleft为所述用户wristleft宽度，sneck为所述用户neck宽度标准值，swristright为所述用户wristright宽度标准值，swristleft为所述用户wristleft宽度标准值。59.通过身高、性别得到和身高、性别对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值，可以通过查表的方式，例如女性身高位于1.2-1.5之间的用户，对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值分别为15cm、7cm、7cm。60.例如在一个实施例中，假设用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值分别为15cm、7cm、7cm；61.若一个用户的neck宽度值、用户wristright宽度值、用户wristleft宽度值分别为16cm、8cm、9cm，则采用第一种计算方式进行计算，w1＝0.319；62.若一个用户的neck宽度值、用户wristright宽度值、用户wristleft宽度值分别为13cm、6cm、5cm，则采用第三种计算方式进行计算，w1＝-0.479。63.由于用户可能在手腕上戴手表等，在另外一个实施例中，若用户wristright宽度和用户wristleft宽度的差值大于第一阈值，则采用二者较小者作为用户wristright宽度和用户wristleft宽度。64.在一个实施例中，所述根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格，具体为：65.获取用户骨骼点的动作，并计算所述用户骨骼点的动作与标准动作的相似度，根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，若所述相似度不小于所述新的相似度阈值，则判定用户动作合格，否则，判定用户动作不合格。66.在一个实施例中，所述根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，具体为：67.thr＝k·(1+w1)·thr'，其中thr为所述新的相似度阈值，k为所述难易度，thr'为所述标准相似度阈值。68.仍以上面计算得到的w1为例，当w1＝0.319时，thr＝k·1.319·thr'；当w1＝-0.479时，thr＝k·0.521·thr'。69.由于kinect涉及到大量数据计算，而家庭和医院现有的计算设备性能有限，在另外一个具体实施例中，根据视频数据流和深度数据流的帧率，计算两个视频帧和深度图像帧的间隔，判断动作延迟时间，若所述动作延迟时间大于所述间隔，则缩小视频帧图像大小和深度帧图像大小，所述缩小后的视频帧和深度图像包括完整的用户，这样可以减少计算设备处理彩色图像和深度图像的数据量，提高处理效率。70.在使用kinect的过程中，发现用户彩色图像会出现白边的问题，这是由于对彩色图像抠图不准确导致的，在用户深度图像由于红外接收具有间隔性，用户深度图像也会出现不准确的地方，这种问题会导致骨骼点识别不准确，为了抑制上述所述的用户彩色图像和用户深度图像的噪声，在另外一个实施例中，根据灰度图中用户的形状，将第一灰度图和第二灰度图配准，记录重叠部分，在所述用户彩色图像保留重叠部分的像素点得到去噪后的用户彩色图像，在所述用户深度图像中保留重叠部分的位置得到去噪后的用户深度图像。这样利用两种不同成像原理得到的彩色图像和深度图像对图像进行去噪，防止了可见光以及红外光和红外接收间隔的影响。71.第二实施例，本发明还提供了一种非易失性计算机存储介质，所述非易失性计算机存储介质中存储有指令，当指令在处理器上运行时，使得处理器执行如下步骤：72.s1，调整彩色图像和深度图像同步，获取用户彩色图像，将所述用户彩色图像转换为第一灰度图像；获取与所述用户彩色图像对应的用户深度图像，将所述用户深度图像转换为第二灰度图像；根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像；73.s2，训练动作判断模块，获取用户输入的难易度，并根据用户画像计算得到与用户对应的训练参数权重，根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格。74.优选地，所述根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像，具体为：75.对第一灰度图像和第二灰度图像分别执行：获取neck和head骨骼点的直线l1，在neck骨骼点处得到与直线l1垂直的线宽，得到neck宽度；获取wristright和elbowrist骨骼点的直线l2，在wristright骨骼点处得到与直线l2垂直的线宽，得到wristright宽度；获取wristleft和elbowleft骨骼点的直线l3，在wristleft骨骼点处得到与直线l3垂直的线宽，得到wristleft宽度；76.将第一灰度图像中neck宽度和第二灰度图像中neck宽度的平均值作为用户neck宽度；将第一灰度图像中wristright宽度和第二灰度图像中wristright宽度的平均值作为用户wristright宽度；将第一灰度图像中wristleft宽度和第二灰度图像中wristleft宽度的平均值作为用户wristleft宽度；77.通过head骨骼点获得用户身高，将所述用户身高、性别、所述用户neck宽度、所述用户wristright宽度、所述用户wristleft宽度作为用户画像参数。78.优选地，所述根据用户画像计算得到与用户对应的训练参数权重，具体为：根据所述用户身高、性别获得与身高、性别对应的用户neck宽度标准值、用户wristright宽度标准值、用户wristleft宽度标准值；79.若userneck+userwristright+userwristleft＞sneck+swristright+swristleft，则与用户对应的训练参数权重80.若userneck+userwristright+userwristleft＝sneck+swristright+swristleft，则与用户对应的训练参数权重w1＝0；81.若userneck+userwristright+userwristleft＜sneck+swristright+swristleft，则与用户对应的训练参数权重82.其中，userneck为所述用户neck宽度，userwristright为所述用户wristright宽度，userwristleft为所述用户wristleft宽度，sneck为所述用户neck宽度标准值，swristright为所述用户wristright宽度标准值，swristleft为所述用户wristleft宽度标准值。83.优选地，所述根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格，具体为：84.获取用户骨骼点的动作，并计算所述用户骨骼点的动作与标准动作的相似度，根据所述难易度、所述训练参数权重、标准相似度阈值计算新的相似度阈值，若所述相似度不小于所述新的相似度阈值，则判定用户动作合格，否则，判定用户动作不合格。85.第三实施例，本发明还提供了一种基于kinect的运动障碍康复训练方法，应用在kinect的康复训练设备中，如图4所示，所述方法包括以下步骤：86.s1，调整彩色图像和深度图像同步，获取用户彩色图像，将所述用户彩色图像转换为第一灰度图像；获取与所述用户彩色图像对应的用户深度图像，将所述用户深度图像转换为第二灰度图像；根据第一灰度图像和第二灰度图像中neck、wristright、wristleft骨骼点处的neck宽度、wristright宽度、wristleft宽度以及用户身高、性别得到用户画像；87.s2，训练动作判断模块，获取用户输入的难易度，并根据用户画像计算得到与用户对应的训练参数权重，根据所述难易度、所述训练参数权重、骨骼点位置信息以及标准动作，判断用户动作是否合格。88.以上所描述的装置实施例仅仅是示意性的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。89.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。90.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!