一种基于密集连接自适应感受野的视网膜血管分割方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及深度学习和医学图像处理领域，更具体地，设计一种基于密集连接自适应感受野的视网膜血管分割方法。背景技术：2.视网膜是构成眼睛视觉系统最重要的部分之一。研究表明，大多数眼科疾病是由视网膜病变引起的。除了视网膜本身的病理特征外，糖尿病和高血压等一些常见的心脑血管疾病也都和视网膜病变有着密切的联系，这些疾病往往会造成视网膜血管分支与弯曲情况的变化。然而，这些图像中视网膜血管的手工标记费时、繁琐，需要较丰富的临床经验，受医生主观影响较大，由于血管数量比较多，导致工作量大，分割效率低。因此，视网膜血管的实时自动分割是非常必要的，近年来亦颇受关注。3.目前，各种深度学习网络结构被应用于图像处理中，效果良好。设计先进、准确的视网膜分割算法可以节省大量的时间和人力成本。因此，利用深度学习技术实现血管分割任务具有很大的实用价值，有利于眼底疾病的预防和早期诊断。虽然视网膜血管图像分割与处理技术已逐渐完善，但在图像分割中仍存在许多问题，如何使该方法适应血管的大小和形状，实现血管特征的有效识别，并能精准有效地分割血管的轮廓和结构以更好的满足临床辅助诊断的需要。4.一般来说，根据所使用的数据集是否包含标签信息，视网膜血管分割算法可分为无监督学习和有监督学习。无监督学习的分割原理是利用各种图像特征之间的内在关系来识别血管目标,不需要标签信息，数据集很容易获得，但分割精度和灵敏度通常较低。有监督学习将含有标签信息的金标准图像作为算法学习的先验信息，将视网膜血管分割视为一个分类问题。根据特征提取方式的不同，有监督学习可以分为两类：传统的机器学习算法和基于深度学习的算法。当前医学图像处理领域深度学习已成为主流方法，它相较于机器学习避免了人工提取特征的过程，使得最终获取到的分割结果更加精准客观。技术实现要素：5.本发明的目的是为了解决现有技术对于细微血管分割不够精确的问题，提出一种基于密集连接自适应感受野的视网膜血管分割方法，选择sk单元来代替传统卷积神经网络的3×3卷积，通过注意力机制自动调整网络的感受野以聚合多尺度特征，为不同尺度血管选择合适的感受野，提升了视网膜血管分割的精确率。6.为实现以上目的，采用一种基于密集连接自适应感受野的视网膜血管分割方法，包括如下步骤：7.步骤s1:对数据集中的原始彩色视网膜血管图像进行预处理；8.步骤s2:对预处理之后的视网膜血管图像进行数据扩充得到训练图像集和测试图像集；9.步骤s3:构建基于密集连接自适应感受野的视网膜血管分割模型；10.步骤s4:利用训练图像集对视网膜血管分割模型进行训练；11.步骤s5:利用训练好的视网膜血管分割模型对测试图像集进行分割，最终获得分割结果，并与标准u-net和laddernet的分割结果进行对比；12.进一步，所述步骤s1中的预处理操作包括灰度化，标准化，对比度受限自适应直方图均衡化，伽马校正的预处理操作。13.灰度化的作用是为了增强彩色眼底图像中血管与背景之间的对比度，由于视网膜血管图像成像过程中受光照等条件的影响，造成不同通道的视网膜血管呈现不同的特点；经过对比三个通道的图像，可以看出绿色通道上的图像血管轮廓与背景的对比度最高，噪声也比较小，因此本发明使用绿色通道对眼底图像进行处理和分析。14.标准化是将提取的绿色通道图像的灰度值范围限定在一定区间，防止在数据处理中出现较为极端的情况，导致神经网络泛化能力比较差，本发明采用的方式具体为：首先利用均值和方差对数据进行标准化处理，然后利用一种简单执行的方式实现最后归一化处理，如式(1)和式(2)所示：[0015][0016][0017]式中xmean、xstd分别代表数据的均值、方差，min(.)、max(.)分别表示获得样本数据的最小值和最大值。[0018]限制对比度的自适应直方图均衡化(clahe)采用滑动窗格法将整个图像分割为8×8,共计64个区域，对每个区域的对比度进行了优化，进而增强了整张图像的对比度。[0019]根据血管和背景的不同像素特征，采用局部自适应伽马校正来匹配伽马值，并在不同区域对视网膜图像进行校正，从而抑制光照不均匀和中心线反射等现象，本发明中使用的伽马校正如式(3)所示：[0020]y＝axr (3)[0021]式中x为图像的像素值，其中变量a以及r取视网膜血管分割中常用的值，在本文中a的参数值设定为1，r的参数值设定为0.8。[0022]进一步，所述的步骤s2数据扩增的具体方式为裁剪图像块进行数据扩充，图像块通过滑动窗口裁剪获得。扩展后，drive训练集被划分为19万个图像块，stare数据集被划分为16万个图像块，chase_db1数据集被同样的操作划分为19万个图像块。[0023]进一步，所述步骤s3中基于密集连接自适应感受野的视网膜血管分割模型，由特征编码模块、最大池化、特征解码模块和上采样四个部分构成。特征编码模块是由4组密集卷积块和下采样组成，在密集卷积块中采用sk模块代替原有卷积层，用来自适应的提取多尺度信息。在每个sk模块后添加批量归一化(bn)有助于加快网络的训练速度，并且提高模型的训练精度，使用relu激活函数对特征图添加非线性因素，降低网络计算复杂度。特征解码模块包括4组密集卷积块和上采样。解码器通过上采样逐渐恢复目标的细节和相应的空间维度。跳跃连接可以将低层特征信息和深层语义信息进行融合，为解码器提供更丰富的特征信息从而能够更准确的分割出血管。[0024]本发明采用的选择性核(sk)单元，它使用不同大小的核来产生多尺度信息。然后，使用激活函数softmax操作来融合来自多尺寸卷积核的信息；sk单元在不同阶段产生的增益是相互增强的，因此它们可以顺序组合以进一步提高网络性能，sk单元的计算步骤可以简单地表示为：[0025]x1,x2＝fc(x) (4)[0026]x'＝x1+x2 (5)[0027]s＝fg(x') (6)[0028]s'＝ffc(s) (7)[0029]a,b＝softmax(fc(s')) (8)[0030]x1',x2'＝a×x1,b×x2 (9)[0031]o＝x1'+x2' (10)[0032]具体而言，首先将特征映射x∈rc×h×w输入具有3×3和5×5大小的卷积块中，用于生成多尺度信息x1∈rc×h×w和x2∈rc×h×w，然后是批量标准化和relu，如式(4)所示；为了从不同的核中获取特征映射的权重，本文使用元素求和运算来聚合多尺度信息，以获得融合的特征信息，如式(5)所示；然后，使用式(6)中的全局平均池fg对全局信息s∈rc′进行编码，在全连接层如式(7)通过应用批量标准化和relu接收低维特征s'以减少计算成本。在本发明中，比例因子设置为2；之后使用式(8)中的两个1×1卷积层fc和一个softmax操作来计算注意向量；最后，将注意力向量与多尺度特征映射相乘，以聚合多尺度特征最终的输出功能映射到o∈rc′×h×w由x1'+x2'计算，如式(9)和式(10)所示。使用sk模块有效地解决了视网膜血管大小差异较大的问题。[0033]为更好地融合来自编码器的信息，保留多尺度血管特征，以及学习编码器漏检血管特征，提出密集型自适应感受野卷积；每个密集连接模块是由两个sk模块通过稠密连接的方式组成，密集连接模块将sk模块提取的多尺度视网膜血管图像的前层与本层的特征信息相结合作为下一层的输入，缩短前后层之间的距离，跨层连接时采用拼接的方式，从而加强特征传播的能力，relu和bn层被添加到每个sk模块的后面，以减少过度拟合的可能性并加快模型训练。[0034]进一步，所述步骤s5利用训练好的视网膜血管分割模型对测试图像集进行分割，将测试图像输入网络，经过预处理之后，经过滑动窗口在全图区域进行等步距裁剪获取若干图像块，把每个图像块输入网络中进行预测，每个像素点的多个预测结果取平均，得到所属类别的概率，最终进行二值化得到视网膜血管的分割结果图，并与标准u-net和laddernet的分割结果进行对比。[0035]与现有技术相比，本发明提供的基于密集连接自适应感受野的视网膜血管分割方法具有以下有益效果：[0036]1.本发明使用选择性核单元(sk)模块替换3×3卷积的密集自适应感受野的dsnet分割算法，用sk模块替换传统卷积神经网络的3×3卷积，可以通过注意机制自动调整网络的感受野，并混合使用扩展卷积和常规卷积提取的特征图，以聚合多尺度特征，为不同尺度的血管选择合适的感受野，从而提升视网膜血管分割性能。[0037]2.为更好地融合来自编码器的信息，保留多尺度血管特征，以及学习编码器漏检血管特征，提出密集型自适应感受野卷积模块，密集连接模块将sk模块提取的多尺度视网膜血管图像的前层与本层的特征信息相结合作为下一层的输入，缩短前后层之间的距离，跨层连接时采用拼接的方式，从而加强特征传播的能力，获得更多尺度的血管信息，从而使网络保留更多的血管特征信息，分割出更多的细小血管，提升网络的整体分割效果。[0038]3.relu和bn层添加到每个sk模块的后面，以减少过度拟合的可能性并加快模型训练。附图说明[0039]图1是dsnet模型的算法流程图；[0040]图2是彩色眼底原始图像及其rgb各通道图像；[0041]图3是彩色眼底图像预处理各阶段效果图；[0042]图4是数据扩充后的效果图；[0043]图5是dsnet网络结构图；[0044]图6是sk模块结构图；[0045]图7是密集连接模块结构图；[0046]图8是drive数据集分割结果图；[0047]图9是stare数据集分割结果图；[0048]图10是chase_db1分割结果图；[0049]图11是dsnet在三种数据集上进行分割的roc曲线图。具体实施方式[0050]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。[0051]本实施例公开了一种基于密集连接自适应感受野的视网膜血管分割方法，整体分割流程图如图1所示。本实例中数据集采用drive、srare、和chase_db1三个公开数据集对网络进行训练，以验证网络的分割性能和鲁棒性。drive数据集主要手机了荷兰的一次糖尿病视网膜病变筛查计划的图片，随机挑选40张图像，每张原始图像的像素为584×565，其中33幅图片来源为健康人体眼球，7幅图片存在轻度早期糖尿病视网膜病变。stare数据集于2000年在美国整理公开，共收集了包含正常的眼底图像和病变图像共20张，每张图像的像素大小为700×605，其病变图片的病灶面积更大，背景更复杂。chase_db1数据集包含14名患者的左右研的眼底视网膜彩色图像，包含青光眼、糖尿病等患者的眼底图像，共28张图片，每幅图像的像素为996×960。三个数据集均提供了两位专家手动分割的金标准以及对应的掩膜图像。在测试过程中，采用第一位专家的手动分割结果作为真值来评估本发明所提出框架的分割性能。具体实施步骤如下：[0052]1.眼底图像预处理[0053]为了能够提取到更精确的血管特征，提升网络的分割效果，需要对眼底图像进行预处理。本文对图像的预处理主要包括图像灰度化、对比度受限直方图均衡化、数据标准化、伽马校正等，之后再将图像进行归一化处理。为增强血管于背景之间的对比度，需要对原始彩色图像进行灰度化处理，对比r、g、b三个通道的图像，如图2所示，绿色通道上的图像血管轮廓与背景的对比度最高，含有的噪声也比较少，因此使用绿色通道对眼底图像进行处理和分析。然后对灰度图像进行数据标准化，首先利用均值和方差对数据进行标准化处理，然后利用一种简单易执行的方式实现最终归一化处理，如式(1)和(2)所示：[0054][0055][0056]将标准化之后的图像数据，在通过对比度受限的直方图均衡化，采用滑动窗格法将整个图像分割为64个区域，对每个区域的对比度进行了优化，进而增强了整张图像的对比度。最后，采用伽马值为0.8的伽马校正对图像进行非线性色调编辑，提升图像中高、低灰度值的占比，达到增大对比度的效果。预处理效果图如图3所示。[0057]2.数据扩充[0058]视网膜图像由于涉及到病人的隐私问题，所以可用以公开使用的数据集数量比较少，对于深度神经网络较少的训练数据容易使网络出现欠拟合的现象，本发明采用裁剪图像块进行数据扩充，图像块是通过滑动窗口裁剪获得的。在扩展之前，drive数据集中有20张训练图像，stare数据集中有10张训练图像，chase_db1数据集中有20张训练图像；扩展后，drive训练集被划分为19万个图像块，stare数据集被划分为16万个图像块，chase_db1数据集被同样的操作划分为9万个图像块。数据扩充后的效果图如图4所示。[0059]3.dsnet网络模型的搭建[0060]本发明提出的密集连接自适应感受野的视网膜血管分割网络(dsnet)结构，如图5所示。dsnet由特征编码模块、最大池化、特征解码模块和上采样四个部分构成。特征编码模块是由4组密集卷积块和下采样组成，在密集卷积块中采用sk模块代替原有卷积层，用来自适应的提取多尺度信息。在每sk模块后添加批量归一化(bn)有助于加快网络的训练速度，并且提高模型的训练精度，使用relu激活函数对特征图添加非线性因素，降低网络计算复杂度。最大池缩小特征图的尺寸并提取重要特征。特征解码模块包括4组密集卷积块和上采样。解码器通过上采样逐渐恢复目标的细节和相应的空间维度。跳跃连接可以将低层特征信息和深层语义信息进行融合，较好地解决了u-net网络在提取特征时容易丢失细节信息的问题为解码器提供更丰富的特征信息从而能够更准确的分割出血管。[0061]dsnet使用选择性核(selective kernel networks，sk)替换传统卷积神经网络的3×3卷积它使用不同大小的核来产生多尺度信息，然后使用激活函数softmax操作来融合来自多尺寸卷积核的信息，sk单元在不同阶段产生的增益是相互增强的，因此它们可以顺序组合以进一步提高网络性能，sk单元如图6所示。sk单元的计算步骤可以简单地表示为：[0062]x1,x2＝fc(x)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(4)[0063]x'＝x1+x2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)[0064]s＝fg(x')ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(6)[0065]s'＝ffc(s)ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(7)[0066]a,b＝softmax(fc(s'))ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(8)[0067]x1',x2'＝a×x1,b×x2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(9)[0068]o＝x1'+x2'ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(10)[0069]具体而言，首先将特征映射x∈rc×h×w输入具有3×3和5×5大小的卷积块中，用于生成多尺度信息x1∈rc×h×w和x2∈rc×h×w，然后是批量标准化和relu，如式(4)所示；为了从不同的核中获取特征映射的权重，本文使用元素求和运算来聚合多尺度信息，以获得融合的特征信息，如式(5)所示；然后，使用式(6)中的全局平均池fg对全局信息s∈rc′进行编码，在全连接层如式(7)通过应用批量标准化和relu接收低维特征s'以减少计算成本。在本发明中，比例因子设置为2；之后使用式(8)中的两个1×1卷积层fc和一个softmax操作来计算注意向量；最后，将注意力向量与多尺度特征映射相乘，以聚合多尺度特征最终的输出功能映射到o∈rc′×h×w由x1'+x2'计算，如式(9)和式(10)所示。使用sk模块有效地解决了视网膜血管大小差异较大的问题。[0070]为更好地融合来自编码器的信息，保留多尺度血管特征，以及学习编码器漏检血管特征，提出密集型自适应感受野卷积模块如图7所示。每个密集连接模块是由两个sk模块通过稠密连接的方式组成。密集连接模块将sk模块提取的多尺度视网膜血管图像的前层与本层的特征信息相结合作为下一层的输入，缩短前后层之间的距离，跨层连接时采用拼接的方式，从而加强特征传播的能力。relu和bn层被添加到每个sk模块后面，以减少过度拟合的可能性并加快模型训练。使用密集连接可以更充分的利用每一层的血管特征并能够获取更多尺度的血管信息。从而使网络能够保留更多的血管特征信息，分割出更多的细小血管，提升网络的整体分割效果。[0071]4.训练过程[0072]本发明使用ubuntu平台，编程语言为python，框架为pytorch，实现对dsnet的搭建，使用relu激活函数和adam优化器，算法初始学习率为0.001，训练150个epoch,使用tensorboard对训练过程进行可视化。[0073]5.测试过程[0074]将经过预处理的测试图像输入网络，在每个测试图像上按照步距为16，分辨率为96×96的尺寸提取图像块，之后加载训练权重和网络模型进行分割。每个像素点的多个预测结果取平均，得到所属类别的概率，最终进行二值化得到视网膜血管的分割结果图。[0075]将测试集中的图像的分割结果和金标准进行对比，使用第一位专家的手动分割图像作为标准评价每张图像分割血管的准确性、特异度、灵敏度和auc(area under the curve)值。如图8所示为dsnet在drive数据集上的分割结果与原图、标准u-net和laddernet分割结果图及专家手动分割结果和的对比图。图9所示为dsnet在stare数据集上的分割结果与原图、标准u-net和laddernet分割结果图及专家手动分割结果和的对比图。图10所示为dsnet在chase_db1数据集上的分割结果与原图、标准u-net和laddernet分割结果图及专家手动分割结果和的对比图。[0076]图11为dsnet在三种数据集上进行分割的roc曲线图，auc定义为roc(receiver operating characteristic curve)曲线下面积，取值范围在0.5到1之间，auc值越接近于1表示分类器的性能越好，能够综合衡量分割效果的优劣。通过实验表明在drive数据集上，dsnet模型的准确率为95.77％、灵敏性为81.87％、特异性为98.09％、auc为98.21％。在stare数据集上，dsnet模型的准确率为96.92％、灵敏性为84.63％、特异性为98.22％、auc为98.78％。在chase_db1数据集上，dsnet模型的准确率为96.69％、灵敏性为82.77％、特异性为98.08％、auc为98.69％。与现有其他算法相比具有了一定的先进性。[0077]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!