近日,生物医学工程学院沈定刚课题组 (IDEA Lab) 2020级硕士研究生张佳冬相继以“ A Generalized Dual-Domain Generative Framework with Hierarchical-Consistency for Medical Image Reconstruction and Synthesis”和“A Robust and Efficient AI Assistant for Breast Tumor Segmentation from DCE-MRI via a Spatial-temporal Framework”为题,在 Nature 子刊《通讯-工程》(Communications Engineering)、Cell 子刊《模式》 (Patterns) 上以第一作者发表最新科研成果。
研究聚焦深度神经网络在医学影像分析领域的应用,分别提出了一个基于双域 (图像域和采集域) 循环一致性的通用医学影像生成框架和一种强大而高效的基于时空框架的 DCE-MRI 乳腺肿瘤 AI 分割框架,均在相应的临床任务中取得了优异的性能,为人工智能赋能临床打下坚实的基础。
基于双域循环一致性的通用医学影像重建与生成框架
医学影像的重建与生成是 CT、PET 和 MRI 等临床成像任务的首要步骤。目前基于人工智能的生成式模型在此中表现出巨大的应用潜力,但现有生成模型大多没有充分利用采集域 (频域或投影域) 的信息,阻碍了跨域间的高效信息交换和耦合,也限制了影像重建的性能。此外,现有生成模型通常只能处理指定的重建或生成任务,缺乏通用性和鲁棒性。
本研究提出了一个通用双域生成框架,通过精心设计的层次一致性约束来充分挖掘域内和跨域的一致性信息;同时提出了一种多阶段学习策略,用于通用医学影像重建与生成框架的构建,保障所建立的层次约束的有效性和稳定性。
研究人员分别在五个代表性生成任务中进行了评估,包括 1) 低剂量 CT 重建、2) 低剂量 PET 重建、3) CT 金属伪影去除、4) MRI 快速重建、以及 5) CT 和 PET 影像之间的双向合成。评估结果表明,本研究所提出的双域生成框架和层次一致性约束都取得了更好的影像生成性能,验证了该框架的有效性及通用性。未来,该技术有望在临床影像低剂量扫描、伪影去除、快速扫描以及缺失模态补全等多个任务中得到应用。
图1 合成框架图及层次一致性训练策略
生医工学院2020级硕士张佳冬、助理研究员孙开聪、剑桥大学杨俊威 (上科大访问学生)、新南威尔士大学胡艳 (上科大访问学生)、博士后顾雨宁、助理教授崔智铭为论文的共同第一作者,沈定刚教授为通讯作者,上科大为第一完成单位。
人工智能赋能的乳腺肿瘤分割
世界卫生组织数据显示,乳腺癌已取代肺癌成为女性中全球发病率最高的癌症,且逐渐呈现年轻化趋势。但只要早诊早治,患者五年生存率可超 80%。因此,乳腺癌早期筛查及尽早临床干预极其重要。
利用动态对比度增强磁共振 (Dynamic-Contrast Enhancement MRI, DCE-MRI) 技术,有助于及早发现乳腺癌。在临床上通常从 DCE-MRI 中分割乳腺肿瘤,辅助诊断和制定治疗方案。目前基于人工智能的自动分割研究都集中于单对比度的肿瘤分割方法,忽视了多期影像间的时序信息,因此分割结果不尽人意。
本研究结合大规模多中心数据,设计了一种挖掘时间-空间信息学习算法框架,通过融合多期影像的动态信息,提高肿瘤分割的精度。研究收集了7家医院的2170个乳腺 DCE-MRI 病例 (共13167例 MR 影像),构建了研究数据集,提出了乳腺肿瘤人工智能分割框架。结果表明,本研究提出的人工智能助手能够达到与放射科医生相同的分割精度 (DSC:82.04% v.s. 81.70%),节省近20倍的时间。在 AI 的辅助下,医生对肿瘤的分割效率提升 7~10 倍,分割准确率也提升约 5% 。
图2 分割模型结构示意图
生医工学院2020级硕士研究生张佳冬、助理教授崔智铭为论文的共同第一作者,上海科技大学沈定刚教授、广东省人民医院刘再毅主任、云南省肿瘤医院李振辉医生、上海瑞金医院孙坤医生、杭州市第一人民医院丁忠祥主任、上海市第一人民医院张佳胤主任、中南大学湘雅二医院刘军主任、贵州省人民医院王荣品主任为共同通讯作者,上科大为第一完成单位。