一种基于特征点检测的骨龄智能辅助评估方法及系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于数据处理技术领域，尤其涉及一种基于特征点检测的骨龄智能辅助评估方法及系统。背景技术：2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。3.基于中华-05标准的儿童骨龄智能辅助评估系统的医学依据是张绍岩教授主编的《中国人手腕骨发育标准-中华05》，结合深度学习技术，最终准确预测骨龄。随着社会生活水平的提高，家长们越来越重视儿童身高发育，良好的身高在教育，经济，体育等各方面都有一定优势，准确的骨龄预测显得至关重要。近20年来，生活逐渐富裕，中国城市儿童身高较之前有明显变化，之前引用的国外骨龄标准和较老的标准图谱法不再适用，所以张绍岩教授团队2005年左右再次进行中国儿童骨发育调查研究，重新修订骨龄评价标准，即《中国人手腕骨发育标准-中华05》。4.现有技术的缺陷和不足：①传统图谱法检测骨龄和医生主观因素有很大关系，不同医生对于同一儿童dr影像评估结果有明显差距，大多数情况只能依靠医生经验进行判断；②基于ssd，yolo等目标检测算法直接生成候选框判断等级，此类算法通常应用在行人检测等lbel较少的场景；中华05tw3-c和rus-chn法lbel都在100以上，相要获得较高的精度大概需要20000条以上数据。技术实现要素：5.为克服上述现有技术的不足，本发明提供了一种基于特征点检测的骨龄智能辅助评估方法及系统。6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：7.本发明第一方面提供了一种基于特征点检测的骨龄智能辅助评估方法，包括：8.对获取的手部x线图像进行预处理；9.将预处理后的图像输入至骨骺检测模型中，检测预处理后图像中的骨骼关键点；所述骨骺检测模型包括：局部网络和全局网络；10.以骨骼关键点为中心，以固定长度和宽度对预处理后的图像进行切割，获得骨骺roi区域；11.将骨骺roi区域输入至分类模型获得对应的骨骼类别和发育等级；12.根据曲线图，由每块骨骼对应的类别和发育等级得到最终的骨龄评估结果。13.本发明第二方面提供了一种基于特征点检测的骨龄智能辅助评估系统，包括：14.预处理模块，被配置为：对获取的手部x线图像进行预处理；15.骨骼关键点检测模块，被配置为：将预处理后的图像输入至骨骺检测模型中，检测预处理后图像中的骨骼关键点；16.骨骺roi区域获取模块，被配置为：以骨骼关键点为中心，以固定长度和宽度对预处理后的图像进行切割，获得骨骺roi区域；17.骨骼分类模块，被配置为：将骨骺roi区域输入至分类模型获得对应的骨骼类别和发育等级；18.骨龄评估结果获取模块，被配置为：根据曲线图，由每块骨骼对应的类别和发育等级得到最终的骨龄评估结果。19.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于特征点检测的骨龄智能辅助评估方法中的步骤。20.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于特征点检测的骨龄智能辅助评估方法中的步骤。21.以上一个或多个技术方案存在以下有益效果：22.(1)本发明利用定位网络加分类网络去代替目标检测网络，大大减少训练所需的数据量，而且训练定位网络的数据不需要专业人士的高精度标注，医生只需要简单的标注等级即可，节约标注成本，本发明提出的方法用1100个数据就可得到不错的效果，而且预测准确率和用时对比用2万个数据直接进行ssd目标检测网络结果基本持平。23.(2)本发明构建特征库进行分类时，svm分类和欧氏距离计算相似度同时使用，能够缓解数据不均衡引起的误差。24.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明25.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。26.图1为本发明第一个实施例的方法流程图。27.图2为本发明第一个实施例的预处理图。28.图3为本发明第一个实施例的骨骼检测模型整体结构图。29.图4为本发明第一个实施例的骨骼检测模型具体结构图。30.图5为本发明第一个实施例的骨骼关键点生成图。31.图6为本发明第一个实施例的rus-chn法成熟度分值曲线图。具体实施方式32.下面结合附图与实施例对本发明作进一步说明。33.实施例一34.如图1所示，本实施例公开了一种基于特征点检测的骨龄智能辅助评估方法，包括：35.步骤1、对获取的手部x线图像进行预处理；36.步骤2、将预处理后的图像输入至骨骺检测模型中，检测预处理后图像中的骨骼关键点；所述骨骺检测模型包括：局部网络和全局网络；37.步骤3、以骨骼关键点为中心，以固定长度和宽度对预处理后的图像进行切割，获得骨骺roi区域；38.步骤4、将骨骺roi区域输入至分类模型获得对应的骨骼类别和发育等级；39.步骤5、根据曲线图，由每块骨骼对应的类别和发育等级得到最终的骨龄评估结果。40.在步骤1中，对获取的手部x线图像进行预处理，具体包括：41.如图2所示，获取的原始x线图像格式为dicom,将其转化成png格式后，首先转化成8位灰度图像，接着对其进行增强处理；x线照片通过以下方式增强：进行旋转，平移，亮度/对比度增强等数据增广操作，训练时将图像resize成368×512大小；42.在步骤2中，如图3所示，预设的骨骺检测模型gu2net由两部分组成，即局部网络(local network)和全局网络(global network)；43.局部网络是一种unet网络结构，每个卷积由可分离卷积(separable convolution)代替，可分离卷积由通道卷积和点卷积组成(如图4所示)，这样替换可以减少参数量，提高模型加载速度；44.全局网络包括5个3x3的空洞卷积，膨胀系数是[1，2，5，2，1]，随着扩张卷积的增强，实现了较大的接受域，有利于捕获重要的全局信息。[0045]局部input输入为368×512的原始图像，输出为368×512局部热力图；[0046]fil＝φln(xi，θl)，[0047]其中，输出局部热图；φln：局部网络；xi：输入图像；θl：卷积参数；[0048]全局网络输入为368×512的原始图像和经过局部网络的局部热图，经过三个大小不变的普通卷积激活之后再经过4个膨胀系数分别是[1，2，5，2，1]的空洞卷积，输出为(368×512×128)的特征层，用于提取全局信息，最后，全局网络的输出和局部网络(local net)输出的特征图(feature map)进行像素级乘法，输出为最终的全局关键点热图fi，比传统定位网络更快速，准确。[0049]全局网络的输出为：[0050]fig＝φgn(xi，fil，θg)，[0051]其中，输出的全局热图；局部网络输出的热图；φgn：全局网络；xi：输入图像；θg：卷积参数；[0052]在输出的全局关键点热图fi中找到第k个通道的最大位置后，得到第k个关键点，[0053]keypointsk＝argmax(fi，k)；[0054]如图4所示，展示了本实施例全局网络和局部网络的具体结构，图中：①深度可分离卷积kernel_size＝3，stride＝1，padding＝1；批归一化；leakyrelu激活函数；[0055]②最大池化kernel_size＝2，stride＝2；[0056]③深度可分离卷积kernel_size＝3，stride＝1，padding＝1；批归一化；leakyrelu激活函数；[0057]④上采样，scale_factor＝2.0，mode＝bilinear(缩放倍数，双线性插值上采样)，深度可分离卷积kernel_size＝3，stride＝1，padding＝1；批归一化；leakyrelu激活函数；[0058]⑤concat之后做一个通道减半的分离卷积；[0059]⑥下采样，图像大小缩小为原来的四分之一，输出通道128；[0060]⑦膨胀卷积kernel_size＝(3,3),stride＝(1,1),padding＝(1,1)；[0061]⑧膨胀卷积kernel_size＝(3,3),stride＝(1,1),padding＝(2,2)；[0062]⑨膨胀卷积kernel_size＝(3,3),stride＝(1,1),padding＝(5,5)；[0063]⑩膨胀卷积kernel_size＝(3,3),stride＝(1,1),padding＝(2,2)；[0064]膨胀卷积kernel_size＝(3,3),stride＝(1,1),padding＝(1,,1)；[0065]本实施例中的骨骺检测模型是以人工预先标记骨骼关键点的多张手部x线图像为训练样本，进行训练后确定的，对骨骺检测模型进行训练时的损失函数采用交叉熵损失函数，[0066][0067]其中，y是实际关键点，f为最终的热图预测，[0068]如图5所示，利用训练后的骨骼检测模型生成13到20个关键点不等，其中，13个点表示手掌的13块骨骺区域，是生下来就有的骨骼,包括桡骨，尺骨，第一掌骨，第三掌骨，第五掌故，第一近节指骨，第三近节指骨，第五近节指骨，第三中节指骨，第五中节指骨，第一远节指骨，第三远节指骨，第五远节指骨；[0069]剩下7个点是生长发育过程中逐渐出现的，按出现的先后顺序分别为：头状骨，钩骨，三角骨，月骨，舟骨，大多角骨，小多角骨；[0070]在步骤3中，以步骤2生成的关键点为中心，以固定长度和宽在原始图像上crop一个roi区域，这里的原始指的是resize成(368*512*1)之前的图像，将切割出来的图像resize成(224×224),然后送入分类网络efficientnet进行特征压缩。[0071]输入分类网络的224×224×3的图像，经过一系列卷积之后变成1024维向量，经过softmax之后得到最终的预测类别概率，本实施例中，进行特征压缩就是把1024维向量直接保存，不经过softmax和取最大值操作。[0072]在步骤4中，efficientnet分类结束后舍弃最后一层的分类结果，将倒数第二层输出的2048维特征向量保存，建立特征库(骨骺区域名称+发育等级)，特征库包括尺骨库，桡骨库，第一掌骨库等；[0073]例如：桡骨库包括：桡骨1,桡骨2,桡骨3,桡骨4,桡骨5,桡骨6，桡骨7,桡骨8，桡骨9,桡骨10,桡骨11,桡骨12,桡骨13,桡骨14；尺骨库包括：尺骨1,尺骨2,尺骨3,尺骨4,尺骨5,尺骨6,尺骨7,尺骨8,尺骨9,尺骨10,尺骨11,尺骨12；第一掌骨库包括：掌骨ⅰ_1,掌骨ⅰ_2,掌骨ⅰ_3,掌骨ⅰ_4,掌骨ⅰ_5,掌骨ⅰ_6,掌骨ⅰ_7,掌骨ⅰ_8,掌骨ⅰ_9,掌骨ⅰ_10,掌骨ⅰ_11；第三掌骨库包括：掌骨ⅲ,v_1,掌骨ⅲ,v_2,掌骨ⅲ,v_3,掌骨ⅲ,v_4,掌骨ⅲ,v_5,掌骨ⅲ,v_6,掌骨ⅲ,v_7,掌骨ⅲ,v_8,掌骨ⅲ,v_9,掌骨ⅲ,v_10；第一近节指骨库包括：近节指骨ⅰ_1,近节指骨ⅰ_2,近节指骨ⅰ_3,近节指骨ⅰ_4,近节指骨ⅰ_5,近节指骨ⅰ_6,近节指骨ⅰ_7,近节指骨ⅰ_8,近节指骨ⅰ_9,近节指骨ⅰ_10,近节指骨ⅰ_11,近节指骨ⅰ_12；第三近节指骨库包括：近节指骨ⅲ,v_1,近节指骨ⅲ,v_2,近节指骨ⅲ,v_3,近节指骨ⅲ,v_4,近节指骨ⅲ,v_5,近节指骨ⅲ,v_6,近节指骨ⅲ,v_7,近节指骨ⅲ,v_8,近节指骨ⅲ,v_9,近节指骨ⅲ,v_10,近节指骨ⅲ,v_11,近节指骨ⅲ,v_12；中节指骨库包括：中节指骨ⅲ,v_1,中节指骨ⅲ,v_2,中节指骨ⅲ,v_3,中节指骨ⅲ,v_4,中节指骨ⅲ,v_5,中节指骨ⅲ,v_6,中节指骨ⅲ,v_7,中节指骨ⅲ,v_8,中节指骨ⅲ,v_9,中节指骨ⅲ,v_10,中节指骨ⅲ,v_11,中节指骨ⅲ,v_12；第一远节指骨库包括：远节指骨ⅰ_1,远节指骨ⅰ_2,远节指骨ⅰ_3,远节指骨ⅰ_4,远节指骨ⅰ_5,远节指骨ⅰ_6,远节指骨ⅰ_7,远节指骨ⅰ_8,远节指骨ⅰ_9,远节指骨ⅰ_10,远节指骨ⅰ_11；第三远节指骨库包括：远节指骨ⅲ,v_1,远节指骨ⅲ,v_2,远节指骨ⅲ,v_3,远节指骨ⅲ,v_4,远节指骨ⅲ,v_5,远节指骨ⅲ,v_6,远节指骨ⅲ,v_7,远节指骨ⅲ,v_8,远节指骨ⅲ,v_9,远节指骨ⅲ,v_10,远节指骨ⅲ,v_11；[0074]新的roi图像加载进来之后用svm分类器以及欧氏距离比较决定最终的类别，即在特征库之内使用svm(例如桡骨库有14个等级，svm训练就分14个等级，一共20个特征库就训练20个svm)加基于欧式距离的相似度计算决定最终类别；[0075]欧氏距离比较不用训练，预测的时候直接使用就行了，例如推理预测时：压缩成1024维向量以后直接和特征库里的特征信息按个比较距离，取最近的决定图像的类别；[0076]训练的时候，svm和基于欧氏距离相似度比较同时使用，根据验证集上效果对不通过的骨骺关节使用不同的分类方法，同时使用是因为在验证集上发现两种方法在有些骨关节区域预测上有互补功能。[0077]本发明之所以不直接使用efficientnet输出的结果最为最终的预测值的原因主要有两个：①经过实验对比，加svm比直接用efficientnet效果好很多；②svm相对神经网络来说执行速度快，而且通过特征库对比不容易出现roi区域预测错误问题，比如尺骨等级2推理成桡骨等级，本发明利用特征库对比可以将推理结果只控制在尺骨之内。[0078]在步骤5中，每个骨骺区域等级评分确定之后分数相加，查评分曲线即可推理出最终的年纪。评分曲线如图6所示。[0079]实施例二[0080]本实施例公开了一种基于特征点检测的骨龄智能辅助评估系统，其特征在于：包括：[0081]预处理模块，被配置为：对获取的手部x线图像进行预处理；[0082]骨骼关键点检测模块，被配置为：将预处理后的图像输入至骨骺检测模型中，检测预处理后图像中的骨骼关键点；[0083]骨骺roi区域获取模块，被配置为：以骨骼关键点为中心，以固定长度和宽度对预处理后的图像进行切割，获得骨骺roi区域；[0084]骨骼分类模块，被配置为：将骨骺roi区域输入至分类模型获得对应的骨骼类别和发育等级；[0085]骨龄评估结果获取模块，被配置为：根据曲线图，由每块骨骼对应的类别和发育等级得到最终的骨龄评估结果。[0086]实施例三[0087]本实施例的目的是提供计算机可读存储介质。[0088]计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的一种基于特征点检测的骨龄智能辅助评估方法中的步骤。[0089]实施例四[0090]本实施例的目的是提供电子设备。[0091]电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的一种基于特征点检测的骨龄智能辅助评估方法中的步骤。[0092]以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。[0093]本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。[0094]上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!