摘 要：胎肺发育不良常在胎儿出生时引发严重的呼吸窘迫，甚至造成新生儿死亡.胎肺容积测量是临床上无创评估肺成熟度的一项重要手段，但现有的胎肺容积测量方法不仅误差大，繁琐耗时且临床实用性差.本研究基于3D-nnUnet首次提出一种高效稳定的胎肺自动分割和测量方法，利用网络对胎肺数据的自适应，有效克服图像组织对比度低和边缘模糊问题，实现了三维超声胎肺的精确分割.此外，针对胎肺超声图像在不同孕周差异大、样本数分布极不均衡的问题，提出利用HMEP(hard-mining and easy-penalized)损失来提升模型的泛化能力和稳定性.与二维最优分割网络DeepLab V3+和3D-Unet分割结果相比，基于 3D-nnUnet的分割网络性能最佳，分割准确率高达85. 7%;HMEP Loss能够使3D-nnUnet模型专注地学习少数困难样本，将分割准确率提升近2%;分割模型在不同孕周的数据上所测得胎肺容积和医生手动勾画的胎肺容积经一致性检验无显著的统计学差异.实验结果表明：该方法可高效实现三维超声胎肺的自动精确分割和容积测量，具有良好的稳定性和泛化能力，可避免以往胎肺容积测量方法繁琐耗时、误差较大的问题，在诊断胎肺发育状况及评估肺成熟度方面有较好的应用前景.
关键词：人工智能;胎肺成熟度;三维超声;语义分割;深度学习;网络自适应;医学影像
胎肺发育不良是一种常见的新生儿呼吸道疾病 ， 新 生 儿 发 病 率 约 0. 11%， 但 致 死 率 高 达 70%[1].准确评估产前胎肺发育的成熟度，可有效避免胎肺发育不良的发生，对降低新生儿的病死率有重要意义.
传统评估胎肺成熟度的方法有羊水振荡实验、泡沫稳定实验、磷脂成分检测等[2-3].但这些方法均要做羊膜腔穿刺，不仅费时费力，还存在一定风险，患者接受度较低.在临床上，超声检测是胎儿生长状况测量和评估的主要手段，具备简单、快速、无创、可重复的特点.目前应用超声指标评估胎肺成熟度已受到越来越多临床医生的重视.
近年来采用超声评估胎肺成熟度的方法主要有二维超声测量和三维超声测量.二维超声测量方法主要测量胸围、肺的面积、肺动脉内径、胸围/腹围、胎肺面积/头围等指标[4-5].但当孕妇患有妊娠糖尿病或胎儿本身存在异常时，二维超声测量方法对胎肺成熟度的评估会受到一定限制.三维超声测量方法主要测量胎肺容积.研究认为用二维超声测量方法评估胎肺成熟度的敏感性和准确性较三维的方法低，如 VERGANI 等[6]分别使用三维超声和二维超声测量值进行胎肺成熟度评估，结果显示使用三维超声测量值进行胎肺成熟度评估更可靠，在特异性和敏感性上更具有优势.
目前常用的三维超声胎肺容积测量方法包括平行切面法[7]和虚拟器官计算机辅助分析(virtual or⁃ gan computer-aided analysis，VOCAL)[8].平行切面法通过逐层手动勾画出肺边界来计算胎肺容积， VOCAL 是一种三维超声体积自动测量技术，通过转角位从不同角度来手动勾画胎肺边界以测算胎肺容积.研究显示两者均可测量正常或者发育不良的胎肺，但VOCAL 的准确性较高，重复性较平行切面法稍差[9].然而，两种方法在临床使用时，都会受到操作者经验的影响，易产生假阴性或假阳性[10]，且三维数据的勾画相对繁琐和耗时，临床实用性差.因此，三维超声胎肺容积测量急需精确高效的自动分割和测量方法的探索.
近年来深度学习在医学影像领域得到了广泛的应用，令三维超声图像自动分割技术飞速发展. YANG等[11]使用基于三维的卷积神经网络从胎儿超声体数据中自动分割出了胎儿、妊娠囊和胎盘，实现了更准确和快速的分割.YANG等[12]提出了一种结合渲染式对比学习和半监督学习的三维分割算法框架，解决了小样本标注和边缘模糊问题，实现了三维超声影像中的卵巢和卵泡的精确分割.总之，应用深度学习进行胎肺三维分割的可行性强，且前景广阔.
然而，胎肺三维超声图像质量较差，这为胎肺精确分割带来了挑战.图1给出了胎肺三维超声图像，蓝色线区域为医生手动勾画的右肺，红色线区域为医生手动勾画的左肺.图1展示了当前面临的精确分割的主要困难有：① 胎肺与周围组织的对比度小，难以精确区分胎肺区域，见图 1(a);② 胎肺边缘模糊，难以精确分割，见图1(b);③ 不同孕周胎肺大小变化大，增加了分割模型的学习难度，见图 1(b)与图 1(c)，图 1(b)为 16 周的胎肺，图 1(c)为 25 周的胎肺;④ 图像存在阴影和遮挡，会对分割模型造成干扰，见图1(d)，其中橙色箭头指示胎肺图像存在其他组织遮挡，绿色箭头处指示图像存在阴影.
针对上述问题，本研究基于3D-nnUnet[13]首次提出一种对胎肺三维超声图像进行自动精确分割容积测量的方法，主要贡献可总结为：① 首次从不同孕周的三维超声胎肺容积图像中高效稳定地精确分割出胎肺，填补了临床三维胎肺精确分割方法的空白.② 采用网络动态自适应模块自动生成最适合于胎肺三维数据的网络配置，有效克服了胎肺图像组织对比度低和边缘模糊的问题，提升了分割精度.③ 创新性地提出简单样本惩罚(hard-mining and easy-penalized，HMEP)损失，通过关注困难样本、减少简单样本影响的方法解决胎肺超声图像在不同孕周差异大、样本分布极不均衡导致分割模型泛化能力差的问题，进一步提升了分割精度，也为分割任务中正负样本强烈不平衡的场景提供解决方案.④ 能够做到对胎肺容积的自动准确测量，其自动测量结果与医生手动勾画结果经检验无显著性差异，可提高临床三维胎肺容积测量的效率与准确度，为进一步的胎肺成熟度评估提供有力依据.
1 三维超声胎肺自动分割方法
本研究提出的胎肺三维超声自动分割与容积计算框架如图2，包含预处理、网络自适应、网络训练和测试，以及后处理 4 个步骤.在预处理阶段，对数据进行裁剪、重采样、标准化和多种数据增强.在网络自适应阶段，根据数据大小选择最合适的patch尺寸，生成两种动态网络配置.在网络训练和测试阶段，先采用五折交叉验证对生成的两种网络分别进行训练，通过验证集选择表现最佳的网络配置;在测试时，对得到的最佳网络进行多模型集成推理，获取自动分割的预测图像.在后处理阶段，通过保留两个最大连通域得到最终的分割图像并计算预测胎肺容积.
1. 1 网络动态自适应模块
三维超声图像尺寸巨大且大小不一，这对图像的特征学习和计算机性能要求带来巨大挑战.为保证有效利用有限的计算资源，传统的解决方法有： ① 设计合适的 patch 尺寸并基于 patch 进行图像分割，这样可以固定网络输入，但会损失大量的上下文信息，造成分割结果不连续和出现伪影现象. ② 将图像统一缩放至较小尺寸来固定网络输入，但这样会降低图像质量，损失许多细节信息，以至于无法得到较好的精细化分割结果.为避免以上问题，本研究提出网络动态自适应模块，根据现有计算条件选择合适的patch尺寸，生成相应的网络配置.主要设计思路是：根据胎肺三维超声预处理后图像的实际大小，选择适合所用图形处理器(graph⁃ ics processing unit，GPU)显存的patch尺寸，并由此得到分割时网络下采样的次数K和卷积层总数5K + 2.这样就可以使网络结构自动适应输入patch尺寸与空间，确保网络能接受的区域大小覆盖整个输入.选择合适的patch尺寸的过程如图3.
1. 2 分割网络设计
胎肺数据在不同孕周大小差异巨大，因此对分割网络的适应能力也不同.为找到适应不同孕周数据的分割网络，本研究基于3D-nnUnet设计了两个独立网络：① FRUnet(full resolution Unet)：网络在全像素数据上运行，基于patch尺寸直接进行精细化分割;② CUnet(cascade Unet)：专门为胎肺数据中较大的体数据设计，先在低分辨率图像上得到粗分割结果，在此基础上再进行细分割，进行细节的补充和调整.这两种网络架构都适合胎肺三维超声数据，故本研究同时对这两种网络进行训练，根据交叉验证结果自动选择一个表现更好的网络配置.本研究设计的胎肺分割网络框架如图4.胎肺三维超声图像以 patch 为单位，在 FRUnet 和 CUnet 网络模块中进行特征学习.FRUnet 模块由 1 个 3D UNet[14]组成，CUnet模块由2个3D UNet级联组成. 3D UNet网络下采样结构中采样次数K与卷积层的总数由patch尺寸决定.每个patch通过K次下采样快速聚合上下文信息，一直下采样到特征图达到最小体素(4 × 4 × 4).每次下采样操作进行2次卷积 —标准化—激活函数的操作.每次上采样均通过转置卷积实现.其中，下采样每个尺寸的特征图均通过跳跃连接与上采样得到的相应尺寸的特征图进行融合.
1. 3 损失函数设计
损失函数关系着网络的学习和收敛，对网络的性能起着关键作用.在三维分割中最常用的损失函数为骰子损失(dice loss)[15]，用来衡量预测图和金标准两者间的重叠程度，可较好地解决分割任务中正负样本强烈不平衡(前景区域较小)的问题.但实际上，dice损失在训练过程中更侧重对前景区域的挖掘，在小目标情况下容易不稳定，对困难样本
和不均衡的样本关注度不够.对于分割困难样本的学习，焦点损失(focal loss)[16]通过调节简单样本权重降低的速率，加强网络对困难样本的关注度.TopK 损失(TopK loss)[17]通过强迫网络在训练过程中关注少数困难样本，使模型在学习的过程中可以更好地专注于复杂不均衡样本.两者都没有过多关注样本前景区域.
本研究针对胎肺数据在不同孕周胎肺图像差异大和样本数量在不同孕周分布极其不均衡的问题，融合 dice 损失、focal 损失和 TopK 损失的优势，创新 性 地 提 出 HMEP 损 失(hard-mining and easypenalized loss)与EP损失(easy-penalized loss)，使网络在保证对前景区域足够挖掘的基础上，加强对困难样本和不均衡样本的关注，进一步提升网络的学习能力.HMEP损失是dice损失、focal损失和TopK 损失的复合损失函数，即
2 实 验
2. 1 数据采集
实验数据采集自深圳市福田妇幼保健院超声科，所用的超声设备型号为GE e8、GE e10和三星 Ws 80，使用三维容积探头共采集到 325 个胎肺三维超声数据.经产科专家纳入排除，均确认为正常胎肺数据.所有数据由 6 位中高年资医生(临床经验6 ~ 10 a)在横断面上逐帧精确标注左右两个胎肺轮廓，并由2位高年资医生(临床经验> 10 a)进行严格核查修改.在本研究中，290个三维数据及其标注用于实验，35个数据用于独立测试.实验数据涵盖16 ~ 40孕周，其分布如图5.用于分割的二维数据和分割标注是由三维数据及其标注在横断面上切分出来的，实验数据集规模与划分如表1.
2. 2 数据预处理
在本研究中，用于胎肺二维分割实验的图像统一经过中心裁剪并缩放至448 × 448像素，再经过标准化处理(图像的像素矩阵减去均值并除以其标准差).在 3D-Unet 分割实验中，用于胎肺三维分割实验的三维图像经过中心裁剪并缩放至 256 × 256 × 256 体像素，训练集通过随机裁剪进行数据增强.在3D-nnUnet分割实验中，先利用三维图像的标签寻找一个最小的三维边界框，裁剪掉与三维图像无关区域.之后为保持三维图像中单个体素所代表的实际空间大小一致，在确定重采样的目标空间大小后，根据目标空间确定每个三维图像的目标尺寸，并对三维图像尺寸进行调整.最后，对每个三维胎肺图像利用自身均值和标准差进行标准化.
2. 3 网络设置
本研究将提出的三维分割网络与常用的二维和三维分割网络进行对比.所用二维分割网络包括： ① FCN[18]：采用 FCN-8s，通过反卷积将特征图恢复 到 原 图 大 小 ， 其 骨 干 网 络 为 VGG-16. ② Unet[19]：通过跳跃连接将下采样提取的不同尺度胎肺特征图像依次融入上采样过程.③ PSPN[20]：利用金字塔池化在不同层次上融合提取到的胎肺特征，其骨干网络为 ResNet-34.④ DeeplabV3+ [21]：应用膨胀卷积和深度可分离卷积，将空间金字塔池化和编码解码操作融合成一体.其骨干网络为 ResNet-101.进行三维分割对比实验的是3D-Unet，保留二维 Unet 原有模块结构，将三维卷积算子替换为原来的二维算子.
所有分割网络均使用Adam优化器，初始学习率为1 × 10-4 ，权重衰减因子为0. 01.所有网络均基于PyTorch学习框架，操作系统为Linux，在两块型号为NVIDIA GTX3060Ti的GPU上进行训练.考虑到胎肺数据在不同孕周分布极不平衡，在二维分割实验中采用focal损失，其中γ = 2.在三维分割实验中，采用EP损失与HMEP loss 作为损失函数.
2. 5 优化与后处理
为得到二维胎肺分割的最优结果，针对胎肺图像边缘模糊与图像对比度差的问题，本研究提出3 种优化策略：① 上采样增加边缘分支，使网络在反传时能够学习到更多胎肺边缘信息，增强网络对胎肺边缘的约束.② 测试时增强(test time augmen⁃ tation，TTA)，在二维分割模型推理测试阶段，将原始测试图像进行水平翻转等数据增强，再对推理的多个结果进行综合得到平均输出作为最终分割结果.③ 边缘优化+TTA，即将前两种方法综合起来同时使用.在三维分割实验中，针对过分割的问题，本研究采用保留最大两个连通区域以去除分割结果中的冗余组织，提升三维胎肺分割效果.
3 实验结果及分析
3. 1 二维分割对比实验结果及优化分析
为探究在二维胎肺图像中可达到的最佳分割效果，本研究进行了二维分割对比实验.表2为二维分割实验中，分别采用FCN、Unet、PSPN和DeepLab V3+ 4种网络在测试集上的分割结果，以及分割效果表现最好的DeepLab V3+网络使用不同优化方法后的分割结果.由表 2 可见，DeepLab V3+的分割性能最佳，其分割的DSC可达82. 5%，能够比较准确地分割出胎肺.采用边缘优化与TTA相结合的优化方法能使DeepLab V3+网络的DSC达83. 2%，提升 0. 7%，IoU 可达 71. 2%，HD 指标减至 6. 325 mm，表明该优化方法进一步提高了网络对胎肺的分割准确率.
由表2可知，二维网络分割出胎肺的平均DSC 超过80%，平均IoU超过69%，平均HD小于7 mm，说明采用二维网络分割胎肺的方法虽然可行，但离精确分割还有一定差距.实际上，二维分割忽略了胎肺的空间信息，不能学到胎肺在空间中的连续性，这是二维分割胎肺方法的固有局限，也是导致二维分割胎肺不精准的最大原因.
图 6 定性展示了不同二维分割网络分割结果.其中，图6(a)为二维B超原图;图6(b)为医生的手工标注结果(金标准);图 6(c)—(f)依次为采用 FCN、Unet、PSPN 和 DeepLab V3+网络的分割结果.由图6可见，FCN网络分割效果最差;Unet与 PSPN网络次之，分割结果不够精细;DeepLab V3+ 网络既能较完整地分割出胎肺，亦能保证分割出的胎肺边缘比较精细，更贴近人工标注的水准，分割效果最好.
3. 2 三维分割结果及优化分析
表3记录了3D-Unet和3D-nnUnet两种三维分割网络采用不同的损失函数时，在测试集上获得的性能指标和平均分割时间，同时记录了分割结果经后处理优化前后网络的分割性能指标.结果表明，当两种网络均采用 dice 损失时，3D-nnUnet 网络的各项分割性能均明显优于3D-Unet网络，分割后DSC 达 85. 3%，IoU 达 74. 4%，HD 达 5. 882 mm，高于二维分割实验中DeepLab V3+网络达到的最佳分割性能，可见采用三维网络分割胎肺的方法优于二维网络的分割方法.采用HMEP 损失的3D-nnUnet网络的分割性能要优于使用 dice 损失与 EP 损失，其 DSC达85. 3%，提升了1. 8%.对比4种网络分割方法所用时间发现，3D-Unet 采用dice 损失分割胎肺的平均时间约为1. 4 s;3D-nnUnet分别采用dice损失、EP 损失和 HMEP 损失分割胎肺的时间相差无几，平均用时均接近2. 6 s.可见，3D-Unet网络在分割效率上略高于3D-nnUnet网络，而采用何种损失函数对于 3D-nnUnet 模型的分割效率几乎无影响.——论文作者：王琳1 ，曹艳2 ，邓子微2 ，胡炯通2 ，梁嘉敏2 ，曹晓焱1 ，潘文雄1 ，严玉玲1 ，孙志伟1 ，杨鑫2 ，倪东2
本文来源于：《深圳大学学报理工版》(双月刊)1984年12月创刊，在反映深圳大学理工类教学科研的最新成果及深圳高新技术发展成就，促进省内外学术交流。
