牙齿类型的识别方法和装置与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像处理技术领域，具体涉及一种牙齿类型的识别方法和一种牙齿类型的识别装置。背景技术：2.对于牙医而言，牙齿的形状、数量和位置是牙医通过x射线筛查病人问题时的主要依据。然而，由于x射线种类的多样化，解读x射线工作往往比较困难。3.未解决该问题，人们提出将计算工具应用于全景牙科x光片中，通过计算工具来辅助专家进行决策，以便更好地进行诊断，例如，对于全景牙科图像采用深度学习技术进行医学图像分析。但是，基于深度学习技术的全景牙科x光片牙齿分割策略，一般是将整个牙弓当作一个单一的实例，无法为进一步的问题分析提供必要的细节，例如，缺少牙齿的类别信息和形状信息，为自动牙科图像分析的任务带来困难。4.此外，在自动诊断全景牙科图像的应用中，基于深度学习技术的全景牙科x光片牙齿分割策略难以对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收等牙科病症进行分割和识别，难以有效辅助牙医进行牙科病症的诊断。技术实现要素：5.本发明为解决上述技术问题，提供了一种牙齿类型的识别方法，通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度，此外，还能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率。6.本发明采用的技术方案如下：7.一种牙齿类型的识别方法，包括以下步骤：构建牙齿类型识别模型；获取待识别牙齿的图像数据集；根据所述图像数据集得到所述待识别牙齿的样本数据集；数据增强所述样本数据集；根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。8.根据本发明的一个实施例，所述牙齿类型识别模型包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层，其中，所述特征提取网络的输出端与所述特征金字塔网络的输入端相连；所述特征金字塔网络的输出端分别与所述分割分支网络、所述卷积核分支网络和所述分类分支网络的输入端相连；所述分类分支网络的输出端连接所述第一损失函数层；所述分割分支网络和所述卷积核分支网络的输出端分别与所述动态卷积网络的输入端相连；所述动态卷积网络的输出端连接所述第二损失函数层。9.根据本发明的一个实施例，所述图像数据集包括独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据。10.根据本发明的一个实施例，通过标注所述图像数据集以得到所述待识别牙齿的样本数据集。11.根据本发明的一个实施例，所述根据所述数据增强后的样本数据集训练所述牙齿类型识别模型，具体包括以下步骤：输入所述数据增强后的样本数据集；通过所述特征提取网络特征提取样本数据得到纹理语义特征图；通过所述特征金字塔网络逐步融合所述纹理语义特征图；通过所述分割分支网络处理所述融合后的纹理语义特征图得到预测掩码特征图；通过所述卷积核分支网络处理所述融合后的纹理语义特征图得到预测卷积核；通过所述动态卷积网络卷积处理所述预测掩码特征图和所述预测卷积核得到实例分割结果；通过所述第二损失函数层进行所述实例分割结果的损失函数计算；通过所述分类分支网络处理所述融合后的纹理语义特征图得到类别预测结果；通过所述第一损失函数层进行所述类别预测结果的损失函数计算；根据所述实例分割结果损失函数和所述类别预测结果损失函数得到所述牙齿类型识别模型的总体损失函数。12.根据本发明的一个实施例，所述第一损失函数层的损失函数为：13.lpoly＝lfocal+(1-pt)γ＝-(1-pt)γlog(pt)+(1-pt)γ14.其中，pt表示所述牙齿类型识别模型对目标类别的预测概率，lfocal表示focal loss损失函数；15.所述第二损失函数层的损失函数为：16.ldice＝1-d(p,q)17.其中，d表示dice loss损失函数的系数，定义为：[0018][0019]其中，px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。[0020]根据本发明的一个实施例，根据所述数据增强后的样本数据集对所述牙齿类型识别模型进行多尺度训练。[0021]根据本发明的一个实施例，所述多尺度训练的训练参数包括尺度阈值、网格数量、学习率和迭代次数。[0022]根据本发明的一个实施例，所述筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果，具体包括以下步骤：确定筛选阈值；根据所述筛选阈值筛选所述初始识别结果；采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整所述筛选后的初始识别结果以得到所述待识别牙齿的最终识别结果。[0023]一种牙齿类型的识别装置，包括：建模模块，所述建模模块用于构建牙齿类型识别模型；获取模块，所述获取模块用于获取待识别牙齿的图像数据集；标注模块，所述标注模块用于根据所述图像数据集得到所述待识别牙齿的样本数据集；数据增强模块，所述数据增强模块用于数据增强所述样本数据集；训练模块，所述训练模块用于根据所述数据增强后的样本数据集训练所述牙齿类型识别模型；识别模块，所述识别模块用于根据所述训练后的牙齿类型识别模型得到所述待识别牙齿的初始识别结果；筛选调整模块，所述筛选调整模块用于筛选调整所述初始识别结果以得到所述待识别牙齿的最终识别结果。[0024]本发明的有益效果如下：[0025]1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；[0026]2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。附图说明[0027]图1为本发明实施例的的牙齿类型的识别方法的流程图；[0028]图2为本发明一个实施例的牙齿类型识别模型的结构示意图；[0029]图3为本发明一个实施例的根据数据增强后的样本数据集训练牙齿类型识别模型的流程图；[0030]图4为本发明实施例的的牙齿类型的识别装置的方框示意图。具体实施方式[0031]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0032]图1为本发明实施例的牙齿类型的识别方法的流程图。[0033]如图1所示，本发明实施例的牙齿类型的识别方法，包括以下步骤：[0034]s1，构建牙齿类型识别模型。[0035]具体地，如图2所示，牙齿类型识别模型可为端到端深度神经网络，具体可包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层。其中，特征提取网络的输出端与特征金字塔网络的输入端相连；特征金字塔网络的输出端分别与分割分支网络、卷积核分支网络和分类分支网络的输入端相连；分类分支网络的输出端连接第一损失函数层；分割分支网络和卷积核分支网络的输出端分别与动态卷积网络的输入端相连；动态卷积网络的输出端连接第二损失函数层。[0036]s2，获取待识别牙齿的图像数据集。[0037]具体地，可通过cbct扫描获取待识别牙齿的图像数据集，例如独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据，并且获取的每个全景图像可包括多个尺寸，例如2800*1536、2800*1316尺寸的全景图像。[0038]此外，为保证图像数据的清晰度，获取的图像数据集中不包含儿童牙齿图像数据和老人牙齿图像数据，并且获取的图像数据集中的成人牙齿图像数据不存在或存在的伪影小于设定阈值，例如设定阈值可为3个伪影。[0039]s3，根据图像数据集得到待识别牙齿的样本数据集。[0040]具体地，可根据牙齿类型对获取的待识别牙齿的图像数据集进行标注，以得到待识别牙齿的样本数据集。此外，为便于后续数据处理，还可将标注得到的样本数据集转换为ms-coco数据格式。[0041]s4，数据增强样本数据集。[0042]具体地，可对样本数据集中的每个样本数据依次进行随机比例尺寸填充、最小阈值随机裁剪、随机多尺度数据扩充、标准化图像和固定比例图像尺寸筛选调整处理。[0043]其中，随机比例尺寸填充和最小阈值随机裁剪是对样本数据，即标注后的全景图像数据中的背景区域进行的处理；随机多尺度数据扩充是对对样本数据，即标注后的全景图像数据中的目标区域，即牙齿区域进行的处理，能够有效适应多尺度的样本数据，即标注后的全景图像数据；标准化图像和固定比例图像尺寸筛选调整能够保证数据增强后的样本数据适应牙齿类型识别模型。此外，需要说明的是，为了更好地识别牙齿类型，并提取真实牙齿位置，本发明的数据增强处理去除了翻转、平移操作，从而能够有效的提高牙齿类型识别模型的鲁棒性和泛化能力。[0044]s5，根据数据增强后的样本数据集训练牙齿类型识别模型。[0045]具体地，如图3所示，上述步骤s5还可包括以下步骤：[0046]s501，输入数据增强后的样本数据集。[0047]更具体地，可将数据增强后的样本数据集输入牙齿类型识别模型，其中，输入的样本数据数量可根据运行牙齿类型识别模型的gpu的参数确定，具体可根据gpu的显存大小来确定，例如，gpu可选用titans rtx 24gb的显卡，输入的样本数据数量最大可为2。[0048]s502，通过特征提取网络特征提取样本数据得到纹理语义特征图。[0049]更具体地，特征提取网络可选用在imagenet数据上预训练的resnet50网络，以用于提取输入的样本数据，即标注后的全景图像数据的纹理语义特征图。其中，需要说明的是，由于自然数据集的分布和牙齿的全景图像数据的分布不一致，因此需要采用迁移学习在输入的样本数据，即标注后的全景图像数据上进行模型微调；此外，通过采用迁移学习还能够解决牙齿的样本数据较少、标注耗时的问题，以提升模型对牙齿的样本数据的表征能力。[0050]s503，通过特征金字塔网络逐步融合纹理语义特征图。[0051]更具体地，特征金字塔网络可对输入的纹理语义特征图进行多层级的特征融合，例如可在每个层级产生固定通道但不同大小的特征图，其中，通道可为256维，产生的特征图的大小可分别为输入的纹理语义特征图的1/4、1/8、1/16、1/32、1/64。由此，解决了目标多尺度的问题，并且通过逐层连接，能够在在增加少量计算量的情况下，大幅度提升小目标检测的性能。[0052]s504，通过分割分支网络处理融合后的纹理语义特征图得到预测掩码特征图。[0053]更具体地，分割分支网络可对输入的不同大小的特征图进行卷积和上采样，例如可提取特征金字塔网络的前四层特征图，其中，第一层特征图只进行卷积处理，第二、三、四层特征图进行卷积和上采样处理，从而可将输入的不同大小的特征图上采样到原图，即标注后的全景图像数据的1/4大小，最后可将处理后的四层特征图进行相加操作，再通过卷积处理将通道数变为256，得到相应的预测掩码特征图。其中，第四层特征图需要额外加入目标，即牙齿的坐标位置信息(坐标统一归一化到[-1,1])。[0054]s505，通过卷积核分支网络处理融合后的纹理语义特征图得到预测卷积核。[0055]更具体地，卷积核分支网络可对输入的每个层级融合后的纹理语义特征图，加入对应大小的目标坐标位置信息(坐标统一归一化到[-1,1])，然后可对应层级设置网格数量，通过双线性插值将每个层级的特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成特征金字塔网络中每一层对应网格数量的预测卷积核。其中，最后一个卷积操作将通道数变为256，网格数量可分别为102、96、72、64、48。[0056]s506，通过动态卷积网络卷积处理预测掩码特征图和预测卷积核得到实例分割结果。[0057]更具体地，动态卷积网络可对分割分支网络生成的预测掩码特征图和卷积核分支网络生成的预测卷积核进行卷积运算，得到实例分割结果。[0058]s507，通过第二损失函数层进行实例分割结果的损失函数计算。[0059]更具体地，可利用动态卷积网络生成的实例分割结果，即实例分割掩码和真实分割掩码，通过第二损失函数层的损失函数进行实例分割损失函数计算。其中，第二损失函数层的损失函数为dice loss损失函数(dice loss损失函数用于评估两个样本相似性，取值范围为[0,1])，具体表达式为：[0060]ldice＝1-d(p,q)[0061]其中，d表示dice loss损失函数的系数，定义为：[0062][0063]其中，px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。[0064]s508，通过分类分支网络处理融合后的纹理语义特征图得到类别预测结果。[0065]更具体地，分类分支网络可对应层级设置网格数量，通过双线性插值将输入的每个层级融合后的纹理语义特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成每个层级固定通道的对应网格大小的类别预测结果。其中，最后一个卷积操作将通道数变为预测类别的数量。[0066]s509，通过第一损失函数层进行类别预测结果的损失函数计算。[0067]更具体地，可利用分类分支网络生成的类别预测结果，即类别预测标签和真实标签，通过第一损失函数层的损失函数进行类别预测损失函数计算。其中，第一损失函数层的损失函数为poly loss损失函数(poly loss损失函数为多项式函数的线性组合，例如统一了ce loss损失函数和focal loss损失函数，取值范围为[0,1])，具体表达式为：[0068]lpoly＝lfocal+(1-pt)γ＝-(1-pt)γlog(pt)+(1-pt)γ[0069]其中，pt表示牙齿类型识别模型对目标类别的预测概率，lfocal表示focal loss损失函数。通过设置多项式损失函数，能够提高位置类别预测结果的准确性。[0070]s510，根据实例分割结果损失函数和类别预测结果损失函数得到牙齿类型识别模型的总体损失函数。[0071]更具体地，牙齿类型识别模型的总体损失函数的表达式为：[0072]l＝lpoly+λ·ldice[0073]其中，λ表示权重，具体可为3。[0074]需要说明的是，还可根据数据增强后的样本数据集对牙齿类型识别模型进行多尺度训练，并且多尺度训练的训练参数可包括尺度阈值、网格数量、学习率和迭代次数。举例而言，尺度阈值可为[1,96],[96,192],[128,256],[192,384],[256,2048]；网络数量可为[102,96,72,64,48]；学习率可为0.0025；迭代次数可为80个epoch，由此，可根据上述参数对牙齿类型识别模型进行多尺度训练(多尺度包括[2800,1316],[2800,1344],[2800,1376],[2800,1408],[2800,1472],[2800,1536])，并可对训练结果进行损失函数计算。通过多尺度训练，保证模型能够对不同尺寸的牙齿全景图像进行自动诊断，从而能够增加模型的泛化能力。[0075]此外，由于牙齿、根尖周炎、龋齿病症的不规则性，并且部分牙齿之间存在一定的重合，因此，可通过正负标签样本分配，来保证实例分割结果和类别预测结果的准确性。举例而言，可先通过截取掩码外接矩形框的0.8倍区域来计算真实掩码的中心区域，然后可根据每个层级的网格数量，将对应大小的真实掩码划分为相应数量的网格，，例如，若网格内落入了真实掩码的中心区域、并且该网格中目标占比大于0.2，则被分为正例标签样本，否则被分为负例标签样本。通过正负标签样本分配，能够减少位置预测的干扰样本，从而能够增加结果的可信度。[0076]s6，根据训练后的牙齿类型识别模型得到待识别牙齿的初始识别结果。[0077]具体地，可根据训练后的牙齿类型识别模型对待识别牙齿的样本数据，即标注后的牙齿全景图像数据进行推理，以得到待识别牙齿的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果。[0078]s7，筛选调整初始识别结果以得到待识别牙齿的最终识别结果。[0079]具体地，可先确定筛选阈值，然后可根据筛选阈值筛选初始识别结果，进而可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整筛选后的初始识别结果以得到待识别牙齿的最终识别结果。[0080]更具体地，筛选阈值可包括概率阈值和分割阈值，由此，可根据概率阈值(概率阈值可为0.1)筛选过滤类别概率小于概率阈值的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果；然后可根据筛选后的预测掩码特征图和预测卷积核得到实例分割结果；进一步地，可根据分割阈值(分割阈值可为0.5)筛选过滤分割得分小于分割阈值的实例分割结果；更进一步地，可在每个层级中过滤像素点数量小于该层级网格数量的类别预测结果，从而可得到筛选后的实例分割结果和类别预测结果。[0081]更进一步地，对于筛选后的实例分割结果和类别预测结果，可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略进行调整，以得到待识别牙齿的最终识别结果。[0082]其中，为减少矩阵式非极大值抑制算法的计算量，可先根据实例分割结果的分割预测得分和类别预测结果的类别预测得分计算实例级别的实例得分：[0083][0084]进一步地，可对实例得分进行排序，保留top 400个实例分割结果和类别预测结果，然后可采用矩阵式非极大值抑制算法，对所有的实例分割结果和类别预测结果进行重合度计算，并可通过高斯核抑制重合度超过设定阈值的实例分割结果和类别预测结果，最后可过滤实例得分小于得分阈值(得分阈值可为0.16)的实例分割结果和类别预测结果，从而能够达到去除冗余实例分割结果和类别预测结果的目的。[0085]进一步地，由于矩阵式非极大值抑制算法仍然有可能保留多个同类别的实例分割结果和类别预测结果，因此可通过最大预测概率删选策略保留同类别中最大概率的实例分割结果和类别预测结果，然后对筛选后的实例得分进行排序，保留top 100个实例分割结果和类别预测结果。[0086]进一步地，由于最大预测概率删选策略仍然可能存在某个实例分割结果和类别预测结果包含多个瑕疵区域的情况，因此可通过最大区域删选策略剔除其中的瑕疵区域，以保证每个实例分割结果和类别预测结果只有一个轮廓区域，从而可得到最终的识别结果，即最终的实例分割结果和类别预测结果。[0087]本发明的有益效果如下：[0088]1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；[0089]2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。[0090]对应上述实施例的牙齿类型的识别方法，本发明还提出了一种牙齿类型的识别装置。[0091]如图4所示，本发明实施例的牙齿类型的识别装置，包括建模模块10、获取模块20、标注模块30、数据增强模块40、训练模块50、识别模块60和筛选调整模块70。其中，建模模块10用于构建牙齿类型识别模型；获取模块20用于获取待识别牙齿的图像数据集；标注模块30用于根据图像数据集得到待识别牙齿的样本数据集；数据增强模块40用于数据增强样本数据集；训练模块50用于根据数据增强后的样本数据集训练牙齿类型识别模型；识别模块60用于根据训练后的牙齿类型识别模型得到待识别牙齿的初始识别结果；筛选调整模块70用于筛选调整初始识别结果以得到待识别牙齿的最终识别结果。[0092]在本发明的一个实施例中，如图2所示，牙齿类型识别模型可为端到端深度神经网络，具体可包括特征提取网络、特征金字塔网络、分割分支网络、卷积核分支网络、分类分支网络、动态卷积网络、第一损失函数层和第二损失函数层。其中，特征提取网络的输出端与特征金字塔网络的输入端相连；特征金字塔网络的输出端分别与分割分支网络、卷积核分支网络和分类分支网络的输入端相连；分类分支网络的输出端连接第一损失函数层；分割分支网络和卷积核分支网络的输出端分别与动态卷积网络的输入端相连；动态卷积网络的输出端连接第二损失函数层。[0093]在本发明的一个实施例中，获取模块20可通过cbct扫描获取待识别牙齿的图像数据集，例如独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收的全景图像数据，并且获取的每个全景图像可包括多个尺寸，例如2800*1536、2800*1316尺寸的全景图像。[0094]此外，为保证图像数据的清晰度，获取的图像数据集中不包含儿童牙齿图像数据和老人牙齿图像数据，并且获取的图像数据集中的成人牙齿图像数据不存在或存在的伪影小于设定阈值，例如设定阈值可为3个伪影。[0095]在本发明的一个实施例中，标注模块30可根据牙齿类型对获取的待识别牙齿的图像数据集进行标注，以得到待识别牙齿的样本数据集。此外，为便于后续数据处理，还可将标注得到的样本数据集转换为ms-coco数据格式。[0096]在本发明的一个实施例中，数据增强模块40可具体用于对样本数据集中的每个样本数据依次进行随机比例尺寸填充、最小阈值随机裁剪、随机多尺度数据扩充、标准化图像和固定比例图像尺寸筛选调整处理。[0097]其中，随机比例尺寸填充和最小阈值随机裁剪是对样本数据，即标注后的全景图像数据中的背景区域进行的处理；随机多尺度数据扩充是对对样本数据，即标注后的全景图像数据中的目标区域，即牙齿区域进行的处理，能够有效适应多尺度的样本数据，即标注后的全景图像数据；标准化图像和固定比例图像尺寸筛选调整能够保证数据增强后的样本数据适应牙齿类型识别模型。此外，需要说明的是，为了更好地识别牙齿类型，并提取真实牙齿位置，本发明的数据增强处理去除了翻转、平移操作，从而能够有效的提高牙齿类型识别模型的鲁棒性和泛化能力。[0098]在本发明的一个实施例中，如图3所示，训练模块50可具体用于：[0099]s501，输入数据增强后的样本数据集。[0100]更具体地，可将数据增强后的样本数据集输入牙齿类型识别模型，其中，输入的样本数据数量可根据运行牙齿类型识别模型的gpu的参数确定，具体可根据gpu的显存大小来确定，例如，gpu可选用titans rtx 24gb的显卡，输入的样本数据数量最大可为2。[0101]s502，通过特征提取网络特征提取样本数据得到纹理语义特征图。[0102]更具体地，特征提取网络可选用在imagenet数据上预训练的resnet50网络，以用于提取输入的样本数据，即标注后的全景图像数据的纹理语义特征图。其中，需要说明的是，由于自然数据集的分布和牙齿的全景图像数据的分布不一致，因此需要采用迁移学习在输入的样本数据，即标注后的全景图像数据上进行模型微调。[0103]s503，通过特征金字塔网络逐步融合纹理语义特征图。[0104]更具体地，特征金字塔网络可对输入的纹理语义特征图进行多层级的特征融合，例如可在每个层级产生固定通道但不同大小的特征图，其中，通道可为256维，产生的特征图的大小可分别为输入的纹理语义特征图的1/4、1/8、1/16、1/32、1/64。由此，解决了目标多尺度的问题，并且通过逐层连接，能够在在增加少量计算量的情况下，大幅度提升小目标检测的性能。[0105]s504，通过分割分支网络处理融合后的纹理语义特征图得到预测掩码特征图。[0106]更具体地，分割分支网络可对输入的不同大小的特征图进行卷积和上采样，例如可提取特征金字塔网络的前四层特征图，其中，第一层特征图只进行卷积处理，第二、三、四层特征图进行卷积和上采样处理，从而可将输入的不同大小的特征图上采样到原图，即标注后的全景图像数据的1/4大小，最后可将处理后的四层特征图进行相加操作，再通过卷积处理将通道数变为256，得到相应的预测掩码特征图。其中，第四层特征图需要额外加入目标，即牙齿的坐标位置信息(坐标统一归一化到[-1,1])。[0107]s505，通过卷积核分支网络处理融合后的纹理语义特征图得到预测卷积核。[0108]更具体地，卷积核分支网络可对输入的每个层级融合后的纹理语义特征图，加入对应大小的目标坐标位置信息(坐标统一归一化到[-1,1])，然后可对应层级设置网格数量，通过双线性插值将每个层级的特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成特征金字塔网络中每一层对应网格数量的预测卷积核。其中，最后一个卷积操作将通道数变为256，网格数量可分别为102、96、72、64、48。[0109]s506，通过动态卷积网络卷积处理预测掩码特征图和预测卷积核得到实例分割结果。[0110]更具体地，动态卷积网络可对分割分支网络生成的预测掩码特征图和卷积核分支网络生成的预测卷积核进行卷积运算，得到实例分割结果。[0111]s507，通过第二损失函数层进行实例分割结果的损失函数计算。[0112]更具体地，可利用动态卷积网络生成的实例分割结果，即实例分割掩码和真实分割掩码，通过第二损失函数层的损失函数进行实例分割损失函数计算。其中，第二损失函数层的损失函数为dice loss损失函数(dice loss损失函数用于评估两个样本相似性，取值范围为[0,1])，具体表达式为：[0113]ldice＝1-d(p,q)[0114]其中，d表示dice loss损失函数的系数，定义为：[0115][0116]其中，px,y表示实例分割掩码在(x，y)处的像素值，qx,y表示真实分割掩码在(x，y)处的像素值。[0117]s508，通过分类分支网络处理融合后的纹理语义特征图得到类别预测结果。[0118]更具体地，分类分支网络可对应层级设置网格数量，通过双线性插值将输入的每个层级融合后的纹理语义特征图平均划分为对应网格数量的特征图，最后分别通过五个卷积操作生成每个层级固定通道的对应网格大小的类别预测结果。其中，最后一个卷积操作将通道数变为预测类别的数量。[0119]s509，通过第一损失函数层进行类别预测结果的损失函数计算。[0120]更具体地，可利用分类分支网络生成的类别预测结果，即类别预测标签和真实标签，通过第一损失函数层的损失函数进行类别预测损失函数计算。其中，第一损失函数层的损失函数为poly loss损失函数(poly loss损失函数为多项式函数的线性组合，例如统一了ce loss损失函数和focal loss损失函数，取值范围为[0,1])，具体表达式为：[0121]lpoly＝lfocal+(1-pt)γ＝-(1-pt)γlog(pt)+(1-pt)γ[0122]其中，pt表示牙齿类型识别模型对目标类别的预测概率，lfocal表示focal loss损失函数。通过设置多项式损失函数，能够提高位置类别预测结果的准确性。[0123]s510，根据实例分割结果损失函数和类别预测结果损失函数得到牙齿类型识别模型的总体损失函数。[0124]更具体地，牙齿类型识别模型的总体损失函数的表达式为：[0125]l＝lpoly+λ·ldice[0126]其中，λ表示权重，具体可为3。[0127]需要说明的是，还可根据数据增强后的样本数据集对牙齿类型识别模型进行多尺度训练，并且多尺度训练的训练参数可包括尺度阈值、网格数量、学习率和迭代次数。举例而言，尺度阈值可为[1,96],[96,192],[128,256],[192,384],[256,2048]；网络数量可为[102,96,72,64,48]；学习率可为0.0025；迭代次数可为80个epoch，由此，可根据上述参数对牙齿类型识别模型进行多尺度训练(多尺度包括[2800,1316],[2800,1344],[2800,1376],[2800,1408],[2800,1472],[2800,1536])，并可对训练结果进行损失函数计算。通过多尺度训练，能够保证模型可以对不同尺寸的牙齿全景图像进行自动诊断，从而能够增加模型的泛化能力。[0128]此外，由于牙齿、根尖周炎、龋齿病症的不规则性，并且部分牙齿之间存在一定的重合，因此，可通过正负标签样本分配，来保证实例分割结果和类别预测结果的准确性。举例而言，可先通过截取掩码外接矩形框的0.8倍区域来计算真实掩码的中心区域，然后可根据每个层级的网格数量，将对应大小的真实掩码划分为相应数量的网格，，例如，若网格内落入了真实掩码的中心区域、并且该网格中目标占比大于0.2，则被分为正例标签样本，否则被分为负例标签样本。通过正负标签样本分配，能够减少位置预测的干扰样本，从而能够增加结果的可信度。[0129]在本发明的一个实施例中，识别模块60可具体用于根据训练后的牙齿类型识别模型对待识别牙齿的样本数据，即标注后的牙齿全景图像数据进行推理，以得到待识别牙齿的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果。[0130]在本发明的一个实施例中，筛选调整模块70可具体用于确定筛选阈值，然后可根据筛选阈值筛选初始识别结果，进而可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略调整筛选后的初始识别结果以得到待识别牙齿的最终识别结果。[0131]更具体地，筛选阈值可包括概率阈值和分割阈值，由此，可根据概率阈值(概率阈值可为0.1)筛选过滤类别概率小于概率阈值的初始识别结果，即对应的预测掩码特征图、预测卷积核和类别预测结果；然后可根据筛选后的预测掩码特征图和预测卷积核得到实例分割结果；进一步地，可根据分割阈值(分割阈值可为0.5)筛选过滤分割得分小于分割阈值的实例分割结果；更进一步地，可在每个层级中过滤像素点数量小于该层级网格数量的类别预测结果，从而可得到筛选后的实例分割结果和类别预测结果。[0132]更进一步地，对于筛选后的实例分割结果和类别预测结果，可采用矩阵式非极大值抑制算法、最大预测概率删选策略和最大区域删选策略进行调整，以得到待识别牙齿的最终识别结果。[0133]其中，为减少矩阵式非极大值抑制算法的计算量，可先根据实例分割结果的分割预测得分和类别预测结果的类别预测得分计算实例级别的实例得分：[0134][0135]进一步地，可对实例得分进行排序，保留top 400个实例分割结果和类别预测结果，然后可采用矩阵式非极大值抑制算法，对所有的实例分割结果和类别预测结果进行重合度计算，并可通过高斯核抑制重合度超过设定阈值的实例分割结果和类别预测结果，最后可过滤实例得分小于得分阈值(得分阈值可为0.16)的实例分割结果和类别预测结果，从而能够达到去除冗余实例分割结果和类别预测结果的目的。[0136]进一步地，由于矩阵式非极大值抑制算法仍然有可能保留多个同类别的实例分割结果和类别预测结果，因此可通过最大预测概率删选策略保留同类别中最大概率的实例分割结果和类别预测结果，然后对筛选后的实例得分进行排序，保留top 100个实例分割结果和类别预测结果。[0137]进一步地，由于最大预测概率删选策略仍然可能存在某个实例分割结果和类别预测结果包含多个瑕疵区域的情况，因此可通过最大区域删选策略剔除其中的瑕疵区域，以保证每个实例分割结果和类别预测结果只有一个轮廓区域，从而可得到最终的识别结果，即最终的实例分割结果和类别预测结果。[0138]本发明的有益效果如下：[0139]1)、本发明通过端到端深度神经网络对独立牙齿、种植牙、缺损牙、智齿阻生、龋齿、根尖周炎、牙槽骨吸收进行分割和识别，弥补了深度学习技术应用在全景牙科图像分析领域的一片空白，为全自动诊断牙科全景图像提供一个可实现的方法，能够辅助牙医进行牙科病症的诊断，提升牙医的工作效率；[0140]2)、本发明通过目标的中心位置和大小来区分实例目标，将实例目标分割的问题转换为位置类别预测和实例掩码生成的两个分支问题，从而能够提高目标识别的准确度。[0141]在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。[0142]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。[0143]在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。[0144]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!