用于胎儿超声切面识别的知识蒸馏方法

摘要

胎儿超声切面识别是产前超声检查的主要任务之一,直接影响了产前超声检查的质量。近年来,深度神经网络方法在临床超声辅助诊断方面取得了许多进展。然而,已有研究大多应用预训练模型微调进行迁移学习,这不仅容易导致参数冗余和过拟合问题,而且限制了在实际应用中的实时分析能力。本文提出用于胎儿超声切面识别的知识蒸馏方法。第1阶段,在学生教师网络模型中采用残差网络,对二者隐藏层特征融入注意力机制,提取隐藏层关键信息,进行一次知识迁移,使学生网络获得先验权重;第2阶段,使用教师网络模型指导学生网络模型进行知识蒸馏训练,进一步从整体上提升知识迁移的性能。实验结果表明:学生网络在提升各项性能的同时,降低了模型复杂度,有利于超声设备终端的部署和实时分析能力的提升。