基于二阶段深度学习模型的全景片牙周炎智能分级系统 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于医学人工智能领域，尤其是涉及一种基于二阶段深度学习模型的全景片牙周炎智能分级系统。背景技术：2.牙周炎是全球第六大最常见疾病，会导致牙槽骨吸收、牙齿脱落、无牙颌畸形和咀嚼功能障碍，近年来还被发现是心血管疾病、糖尿病、呼吸系统感染和消化系统疾病等全身系统性疾病的危险因素或指标，带来巨大的社会经济影响和医疗成本。然而，在早期阶段，牙周病的症状并不明显，有时被忽视或遗漏，导致疾病的持续和不可逆的发展，最终导致牙齿活动、丧失，甚至全身性疾病。3.牙周炎进行分类有助于个性化治疗方案的制定。2017年，美国牙周病学会和欧洲牙周病学联合会基于多维分期和分级系统为牙周炎提供了新的定义和分类框架。其中，临床附着丧失(cal)及放射学骨丧失(pbl)被认为可共同评价牙周炎严重程度以指导牙周炎分期。4.牙周炎的诊断和分期分类主要基于牙周牙槽骨吸收的状态，包括水平、形状和位置。目前临床上使用牙周探针进行诊断，但是由于牙槽骨丢失往往隐藏在牙周组织后面，无法接近，所以需要全景片来评估牙周牙槽骨吸收的状态。5.目前临床上主要采用牙周探诊测量临床附着丧失，评估牙周健康状况。然而，这种方法在与探测力、角度、位置和牙周探针尖端直径相关的可靠性方面受到限制。检测和评估牙周炎引起的骨质流失的常用附加方法是放射成像，其中，全景x线检查应用广泛，且已有研究证明全景放射成像pbl读数和口内在很大程度上相互一致。全景x线检查可用于补充和支持pbl的临床评估。6.然而，在全景x线片上检测pbl受限于单个检查者的准确性和不同检查者之间的低可靠性，且系统、全面和可靠的评估需要大量的人力。因此，随着人工智能和深度学习的发展，一种基于深度学习的计算机辅助诊断(cad)系统应运而生。很多研究者尝试使用ai技术在全景片自动识别牙周牙槽骨吸收的状态，进而对牙周炎进行自动分级诊断。人工智能模型可以基于同样的标准稳定地输出，当面对大量的影像学数据时，具有良好的牙周炎筛查潜力。7.牙周骨丢失是牙周炎分期最重要的基础之一，其影像学诊断有准确性有限、不一致、诊断度低等问题，病患个体之间的差异更加大了基于影像的牙周炎自动分级难度。技术实现要素：8.鉴于上述，本发明的目的是提供一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，以实现对牙周炎的智能快速准确分级。9.为实现上述发明目的，实施例提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括计算机存储器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述计算机存储器还存储有基于深度学习网络构建的牙齿分割模型和关键点检测模型，所述计算机处理器执行所述计算机程序时实现以下步骤：10.获取待检测的牙齿全景片；11.利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；12.利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；13.基于每颗牙齿的关键点位置计算牙周骨损失率；14.依据牙周骨损失率确定牙周炎等级。15.优选地，所述牙齿分割模型采用swinunet模型，在被应用之前需要经过参数优化，参数优化时，损失函数l1为：[0016][0017]其中，e表示分割面积，f表示真实面积。[0018]优选地，所述关键点检测模型采用yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数l2为：[0019][0020]其中，m表示样本数量，m为样本索引，n表示关键点个数，n表示关键点索引，分别表示yolov3模型中y1-y3模块中预测关键点与实际点的欧式距离。[0021]优选地，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率pbl％：[0022]pbl％＝max(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))[0023]其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，max()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。[0024]优选地，所述依据牙周骨损失率确定牙周炎等级，包括：[0025]当pbl％《＝15％时，牙周炎的等级为i级；[0026]当15％《pbl％《＝33％时，牙周炎的等级为ii级；[0027]当pbl％》33％时。牙周炎的等级为ⅲ～ⅳ级别。[0028]为实现上述发明目的，实施例还提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括获取模块、分割模块、定位模块、损失率计算模块、等级划分模块，[0029]所述获取模块用于获取待检测的牙齿全景片；[0030]所述分割模块用于利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；[0031]所述定位模块用于利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；[0032]所述损失率计算模块用于基于每颗牙齿的关键点位置计算牙周骨损失率；[0033]所述等级划分模块用于依据牙周骨损失率确定牙周炎等级。[0034]优选地，所述牙齿分割模型采用swinunet模型，在被应用之前需要经过参数优化，参数优化时，损失函数l1为：[0035][0036]其中，e表示分割面积，f表示真实面积。[0037]优选地，所述关键点检测模型采用yolov3模型，在被应用之前需要经过参数优化，参数优化时，损失函数l2为：[0038][0039]其中，m表示样本数量，m为样本索引，n表示关键点个数，n表示关键点索引，分别表示yolov3模型中y1-y3模块中预测关键点与实际点的欧式距离。[0040]优选地，在损失率计算模块中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率pbl％：[0041]pbl％＝max(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))[0042]其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，max()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。[0043]优选地，在等级划分模块中，依据牙周骨损失率确定牙周炎等级，包括：[0044]当pbl％《＝15％时，牙周炎的等级为i级；[0045]当15％《pbl％《＝33％时，牙周炎的等级为ii级；[0046]当pbl％》33％时。牙周炎的等级为ⅲ～ⅳ级别。[0047]与现有技术相比，本发明具有的有益效果至少包括：[0048]本发明采用先分割牙齿再检测关键点的二阶段方法，与一阶段的方法相比，将每颗牙齿分割出来后，在单颗牙齿上准确识别出关键点，从而避免对一些牙齿的漏检，提升了关键点定位的准确率，从而避免因各种原因(翻转角度、结构重叠、医生能力、个人主观性等)导致的牙周炎诊断不精准的问题。[0049]本发明可以通过在牙齿全景片上自动识别每颗牙齿的牙周骨损失率，并根据牙周骨损失率自动诊断每颗牙齿的牙周炎的等级，减少了医生的查看时间，极大地提升了诊断的效率。附图说明[0050]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。[0051]图1为本发明提供的基于二阶段深度学习模型的全景片牙周炎智能分级系统的实施流程图；[0052]图2为本发明提供的swinunet模型的网络结构示意图；[0053]图3为本发明提供的swinunet模型中swintransformer块的结构示意图；[0054]图4为本发明提供的yolov3模型的网络结构示意图；[0055]图5为本发明提供的关键点的示意图；[0056]图6为本发明提供的另一全景片牙周炎智能分级系统的结构示意图。具体实施方式[0057]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。[0058]为解决牙周炎分级诊断效率低，准确性差的问题，实施例提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，可以在全景片中，对牙齿、牙槽骨等关键点进行自动定位，并根据关键点的坐标计算出牙周骨损失率(periodontal bone loss，pbl)，从而完成对牙周炎的分级诊断，提升诊断效率和精度。[0059]实施例提供的基于二阶段深度学习模型的全景片牙周炎智能分级系统，包括计算机存储器、以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述计算机存储器还存储有基于深度学习网络构建的牙齿分割模型和关键点检测模型，所述计算机处理器执行所述计算机程序时实现全景片牙周炎智能分级步骤。[0060]其中，计算机存储器可以为在近端的易失性存储器，如ram，还可以是非易失性存储器，如rom，flash，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)，即可以通过这些处理器实现全景片牙周炎智能分级步骤。[0061]实施例中，牙齿分割模型和关键点检测模型是联合训练的，具体过程为：[0062](a)图像预处理[0063]收集患有不同等级牙周炎期的患者的牙齿全景片影像数据，对影像数据进行归一化，从而减少病例之间的差异性，使图像质量达到一致。归一化具体操作是所有像素点的值减去平均值后除以方差，最终获得均值为0，标准差为1的图像，公式如下：[0064][0065]其中，x表示原图像中像素点的值，表示原图像中所有像素点的值的平均值，σ表示原图像中所有像素点的值的平均方差，x*表示标准化后图像像素点的值。[0066](b)数据分组[0067]将70％的数据集作为训练集，用于模型训练；10％的数据集作为验证集，用于在模型每轮训练结束后评估模型性能；20％的数据集作为测试集，用于评估训练好的模型的性能。[0068](c)数据增强[0069]对训练集图像进行数据增强，从而获得更多的训练案例，同时也可以尽量涵盖临床上所遇到的真实案例。鉴于牙齿全景片的特点，使用了三种数据增强方式：水平翻转、垂直翻转和角度旋转。其中，角度旋转是以图像中心点为中心，进行[-15°，+15°]的旋转。[0070](d)模型构建与训练[0071]如图1所示，构建二阶段的分级诊断模型，分级诊断模型分为自动分割的牙齿分割模型和关键点自动检测的关键点检测模型，实现牙齿分割和关键点检测两个阶段。其中，牙齿分割模型采用自监督的swinunet模型，输入为牙齿全景片，输出为每颗牙齿的分割结果。关键点检测模型采用yolov3模型，输入为每颗牙齿的裁剪图，输出为此颗牙齿上六个关键点的坐标，如图5所示，六个关键点分别为：d1远端釉牙骨质界点；d2远端牙槽嵴；d3远端根尖；m1近端釉牙骨质界点；m2近端牙槽嵴；m3近端根尖。[0072]如图2所示，实施例提供的swin-unet模型是由编码器、瓶颈、解码器和跳跃连接构成，整体上如同unet模型，包括下采样部分和上采样部分。[0073]在下采样部分，首先在图像分割层，将大小为(x,y)的图像分割为大小为(x/64,y/64)的切片；然后在线性嵌入层，将分割后的图像块按照从左到右，从上到下的顺序排列为线性序列，并将每一块与对应的位置信息进行结合；然后连续通过2个swin-transformer块进行特征提取，如图3所示，swin-transformer块是依次由正则层、窗口自注意力机制、正则层、多层感知机、正则层、偏移窗口自注意力机制、正则层、多层感知机8层构成，每两层进行一次短连接；然后将提取特征的块进行块合并；然后再连续进行两次2个swin-transformer块加块合并的操作，进行充分的特征提取，到特征图。[0074]接着模型在经过两个swin-transformer块后，开始上采样部分。在上采样部分，首先将2个swin-transformer块加块扩展作为一个单元，共经历三个单元，将特征图扩展为与输入块序列一样大小的特征块序列。在每一单元，经过了swin-transformer块后，会与下采样过程中对应大小的特征矩阵进行拼接，从而融入不同尺度的特征信息，获取更好的分割结果。最后特征块序列通过线性拼接得到牙齿的分割结果。[0075]实施例中，在获得牙齿的分割结果，将对每一颗牙齿进行切片，获取单颗牙齿图像，然后使用yolov3模型进行关键点检测。[0076]如图4所示，yolov3模型包含三个基本单元块：第一个是dbl单元，它包含卷积层、批正则层、lerelu非线性激活层；第二个是残差单元，它包含两个dbl单元，然后将结果与输入相加，作为输出；第三个是残差体单元，它包含零填充层、dbl单元、若干个残差单元。[0077]yolov3模型以单张牙齿图像为输入，然后依次经历dbl单元、三个残差体单元，获得特征矩阵f1，然后经历一个残差体单元获得特征矩阵f2，然后再经历一个残差体单元获得特征矩阵f3，然后再通过5个dbl单元后获得特征矩阵f4，f4再通过dbl单元和卷积层可以获得最小尺度特征上的关键点位置y1；f4通过dbl单元和上采样后得到特征矩阵f5，f5与f2拼接，然后再通过5个dbl单元后获得特征矩阵f6，然后通过dbl单元和卷积层可以获得中间尺度特征上的关键点位置y2；f6通过dbl单元和上采样后得到特征矩阵f7，f7与f1拼接，然后再通过5个dbl单元后，再通过dbl单元和卷积层可以获得最大尺度特征上的关键点位置y3。最后模型结合y1、y2、y3共同回归出6个关键点的位置。[0078]以数据增强后的训练集分批次进行训练模型，训练时，swinunet模型对应的损失函数l1为：[0079][0080]其中，e表示分割面积，f表示真实面积。[0081]yolov3模型对应的损失函数l2为：[0082][0083]其中，m表示样本数量，m为样本索引，n表示关键点个数，n表示关键点索引，分别表示yolov3模型中y1-y3模块中预测关键点与实际点的欧式距离。[0084]每轮训练结束后，以模型在验证集上的性能作为指标对模型进行优化，在多轮训练后，如模型在验证集上性能好，则表示模型训练结束。[0085]实施例中，还在测试集上，对模型的分类效果进行评估：对分类任务的评估，需要计算每一类的精确率(precision)和召回率(recall)，然后计算平均精确率与平均召回率。每一类的精确率计算公式如下：[0086][0087]其中，tp(true positive)表示正确分类到本类的案例，fp(false positive)表示错误分类到本类的其它类案例。[0088]每一类的召回率计算公式如下：[0089][0090]其中，tn(true negative)表示错误分到其它类的本类案例。最终模型在测试集上的分类性能auc进行评估，auc是以假正率(fp_rate)和假负率(tp_rate)为轴的roc(receiver operating characteristic)曲线下面的面积。模型将综合平均精确率、平均召回率和平均auc这些指标进行评估。[0091]实施例中，将上述训练好的牙齿分割模型和关键点检测模型存储到计算机存储器中，即可以实现全景片牙周炎智能分级，如图1所示，包括以下步骤：[0092]步骤1，获取待检测的牙齿全景片；[0093]步骤2，利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；[0094]步骤3，利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；[0095]步骤4，基于每颗牙齿的关键点位置计算牙周骨损失率；[0096]实施例中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率pbl％，包括：[0097]pbl％＝max(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))[0098]其中，d1表示远端釉牙骨质界点的位置，d2表示远端牙槽嵴的位置，d3表示远端根尖的位置，m1表示近端釉牙骨质界点的位置，m2表示近端牙槽嵴的位置，m3表示近端根尖的位置，max()取最大值函数，d(m1-m2)表示m1到m2的距离，d(m1-m3)表示m1到m3的距离，d(d1-d2)表示d1到d2的距离，d(d1-d3)表示d1到d3的距离。[0099]步骤5，依据牙周骨损失率确定牙周炎等级。[0100]实施例中，根据牙周和种植体周围疾病和条件分类的共识，通过pbl％来自动确定牙周炎的等级，具体标准如下：i级对应pbl％《＝15％)；ⅱ对应15％《pbl％《＝33％；ⅲ～ⅳ对应pbl％》33％，具体ⅲ级和ⅳ级的还要结合医生的临床判断。[0101]基于同样的发明构思，实施例还提供了一种基于二阶段深度学习模型的全景片牙周炎智能分级系统，如图6所示，包括获取模块、分割模块、定位模块、损失率计算模块、等级划分模块，[0102]其中，获取模块用于获取待检测的牙齿全景片；分割模块用于利用牙齿分割模型对牙齿全景片进行牙齿分割，得到单颗牙齿图；定位模块用于利用关键点检测模型对单颗牙齿图进行关键点定位以得到每颗牙齿的关键点位置；损失率计算模块用于基于每颗牙齿的关键点位置计算牙周骨损失率；等级划分模块用于依据牙周骨损失率确定牙周炎等级。[0103]其中，分割模块和定位模块采用的牙齿分割模型和关键点检测模型通过上述方法构建获得，此处不再赘述。[0104]在损失计算模块中，采用以下公式基于每颗牙齿的关键点位置计算牙周骨损失率pbl％，pbl％＝max(d(m1-m2)/d(m1-m3),d(d1-d2)/d(d1-d3))[0105]在在等级划分模块中，当pbl％《＝15％时，牙周炎的等级为i级；当15％《pbl％《＝33％时，牙周炎的等级为ii级；当pbl％》33％时。牙周炎的等级为ⅲ～ⅳ级别。[0106]上述系统，能够自动识别每颗牙齿的牙周骨损失率，并根据牙周骨损失率自动诊断每颗牙齿的牙周炎的等级，为临床诊断提供可靠的辅助诊断工具，减少了医生的查看时间，极大地提升了诊断的效率。[0107]以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!