|
|
中山大学的纪庆革教授研究团队——光学相干断层扫描 (OCT) 技术新进展 | MDPI Algorithms |
|
论文标题:MDAN-UNet: Multi-Scale and Dual Attention Enhanced Nested U-Net Architecture for Segmentation of Optical Coherence Tomography Images
期刊:Algorithms
作者:Wen Liu, Yankui Sun and Qingge Ji
发表时间:4 March 2020
DOI:
微信链接:
期刊链接:
近年来,光学相干断层成像 (OCT) 在临床上得到了广泛的应用,成为糖尿病黄斑水肿 (DME) 和脉络膜新生血管 (CNV) 等主要黄斑疾病的诊断方法。眼科医生使用视网膜厚度图来评估DME的严重程度。然而,手工分割囊肿区域是一项耗时的任务,容易发生人为的错误。因此,学界有必要推广OCT图像的自动分割方法,该方法运行速度快,能够防止主观因素对结果的影响。
关于OTC图像的分割,研究者们已经提出了许多有效的方法,主要可以分为基于机器学习的视网膜分割方法和基于深度学习的全卷积神经网络 (FCN) 的U-Net体系结构图像分割方法。近期,中山大学的纪庆革教授及其研究团队在Algorithms上发表了文章,将多尺度输入、多尺度侧输出和注意机制集成到一起,提出了一种用于OCT图像分割的增强嵌套U-Net结构MDAN-UNet。作者在两个OCT分割任务 (层分割和流体分割) 上验证了所提出的方法,并且证明新提出的方法优于最先进的网络方法,包括UNet++。
图片来源:Pixabay
为了研究流体区域的自动分割,首先要有一个类似UNet++的网络,如图1所示的MDAN-UNet体系结构,一种端到端的多尺度和双注意增强的嵌套U-Net形结构。MDAN-UNet由三个主要部分组成,即多尺度输入、嵌套U-Net形状卷积网络作为主体的结构和带有多尺度标签的多尺度侧输出。
图1. MDAN-UNet体系结构概述。蓝色和绿色部分表示重新设计的跳过路径;红线表示深度监督。
多尺度输入
MDAN-UNet系统中的多尺度输入与采用平均池层构造多尺度输入不同,它分别在每22、44、88和16个非重叠区域取第一个值 (左上角)。以图1中构造的方法为例,在每2个不重叠区域取第一个值 (左上角)。构造input (1) 的方式如图2所示。
图2. input (1) 构造方式。作者取每22个不重叠区域的红色圆圈 (左上角) 指示的第一个值。
嵌套的U-Net型网形卷积网络
应用嵌套的U-Net卷积网络作为主体结构,以探究OCT图像中丰富的表征。该结构与原始的嵌套的U-Net类似,包括一个编码器和由一系列嵌套的密集的卷积块连接的解码器。与利用二维双线性上采样操作的U-Net相比,在上采样层应用了二维转置卷积操作。双注意力模块的体系结构如图3所示。
图3. 概述MDAN-UNet-16中提出的双注意力模块。在MDAN-UNet-32中的双注意力模块对于每个卷积层都有双数量的特征映射通道。
多尺度侧输出和多尺度标签
应用多尺度侧输出和多尺度标签来帮助早期层进行反向传播,缓解梯度消失问题,并通过沿当前下采样层的多个密集块卷积层平均值来构造侧输出。MDAN-UNet结构应用广泛,同时适用于两个OCT分割任务:层分割和流体分割。
在层分割实验中,将MDAN-UNet与一些最新进的OCT层分割算法进行了比较:U-Net、ReLay Net、CE-Net和U-Net++。如图4所示为MDAN-UNet和各种比较方法的定性评价。可以观察到,三种比较方法在层分割方面表现良好,但在背景分割方面表现不佳 (如图4中的红色箭头所示)。在用于将背景区域划分为层区域时,U-Net性能最差,其次是U-Net和CE-Net。由于比较方法没有注意机制,除了ReLayNet外,比较方法在背景区域存在大量的虚假检测。作者重新铺设网络,使用更大的卷积核,其大小为73,具有更大的感受野,因此与U-Net、U-Net和CE-Net相比,该方法在背景区域分割方面取得了相对良好的性能。MDAN-UNet-32、MDAN-UNet-16和ReLayNet的预测质量高,优于其他方法。
图4. 层分割比较的一个测试OCTB扫描。测试OCTB扫描,(b,c) 分割结果由两位不同的专家完成,(d) MDAN-UNet-32预测,(e) MDAN-UNet-16预测,(f-i) 比较方法的预测。Spectralis图像中测试OCT B扫描的流体分割比较。绿色区域表示IRF,黄色区域表示SRF,红色部分表示PED。
此外,MDAN-UNet在流体分割应用中也展示了优良的性能。如图5所示,可以观察到U-Net++和U-Net相对有大量漏检测IRF (绿色区域)。U-Net预测显示了大量的假检测SRF (黄色区域),其他网络对SRF的分割表现良好。同时,还可以从图中观察到MDAN-UNet-32的预测质量高,优于其他方法。对于IRF较少遗漏的检测,MDAN-UNet-16预测优于UNet++和U-Net。值得注意的是MDAN-UNet-16的PED (红色区域) 仍有很多漏检,U-Net和U-Net++的PED有很多错误检测。类别的高度不平衡可能在一定程度上解释了为什么自动分割方法难以正确分割流体。
图5. Spectralis图像中测试OCT B扫描的流体分割比较。绿色区域表示IRF,黄色区域表示SRF,红色部分表示PED。
通过实验数据的比较,作者观察到IRF的分割优于SRF和PED。此外,自动方法在拓普康 (Topcon) 扫描上的性能最低,在海德堡 (Spectralis) 扫描上的自动方法性能最低。UNet++在卷云 (Cirrus) 和拓普康 (Topcon) 图像中的性能优于U-Net,但在Spectralis图像中的性能最差。
通过以上的实验对比,可以发现MDAN-UNet-32和MDAN-UNet-16在视网膜层分割和流体分割方面优于最先进的方法。图像分割方法也面临着许多挑战,为了避免临床明升手机版上人为性失误,作者认为有必要推广MDAN-UNet,帮助临床医生快速有效地评估糖尿病黄斑水肿 (DME) 和脉络膜新生血管 (CNV) 等主要黄斑疾病的严重程度。
(ISSN 1999-4893) 是一份关注计算机明升体育app,人工智能,数据和信息系统等跨学科领域研究的开放获取期刊。期刊旨在提供一个先进的学术交流平台,通过严格同行评审高效发表包括综述、研究论文、简报等多种类型的学术文章。期刊目前被Scopus、Ei Compendex、Emerging Sources Citation Index等数据库收录。从投稿到一审平均历时15.1天,从接收到发表平均约为2.9天。
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。