01文献信息本次分享的文献是由首都医科大学宣武医院卢洁等团队联合北京大学深圳医院、青岛大学附属医院、复旦大学附属肿瘤医院等多中心合作团队于2025年4月30日在《Science Advances》中科院1区topIF12.5上发表的研究”A multimodal and fully automated system for prediction of pathological complete response to neoadjuvant chemotherapy in breast cancer“即一种用于预测乳腺癌新辅助化疗病理完全缓解的多模态全自动系统该研究开发了一款名为“多模态整合全自动流水线系统MIFAPS”的深度学习模型通过整合治疗前磁共振成像MRI、全切片图像WSI及临床风险因素实现对局部晚期乳腺癌患者新辅助化疗NAC后病理完全缓解pCR的精准预测。研究基于1004例多中心、前瞻性患者数据验证结果显示MIFAPS在外部测试集AUC0.882和前瞻性测试集AUC0.909中均表现优异显著优于单模态模型P0.05同时通过可视化与RNA测序揭示高模型分数与免疫相关通路激活、抗肿瘤免疫细胞浸润相关为乳腺癌个性化治疗提供了可靠工具。图 2研究工作流三模态签名开发MRI模块A整合T2WI、DWI、CE-T1WI三序列通过“自动分割子网络编码器解码器”和“自动分类子网络”提取深度特征无需人工标注ROI。WSI模块B采用“WSI切片-特征提取-注意力骨干网络-注意力分支”的多实例学习框架自动聚焦肿瘤关键区域避免病理医生手动勾画。临床模块C通过单因素多因素logistic回归筛选出年龄、HER2、分子亚型3个独立风险因素构建临床签名。多模态融合与延伸D-G用逻辑回归整合三模态签名后续通过“生物学基础探索RNA测序、免疫细胞分析”“模型评估多测试集验证”“临床应用指导治疗方案”形成闭环。02研究背景及目标研究背景疾病现状乳腺癌是全球女性最常见恶性肿瘤NAC是局部晚期乳腺癌的主要治疗方案可缩小肿瘤、降低转移率、提高保乳手术概率10%-50%患者可达到pCR且pCR与良好预后相关如可能省略乳房切除术。现有技术局限传统影像手段如MRI、超声、钼靶预测pCR敏感性低例如MRI敏感性仅64%且RECIST标准评估pCR存在不足与延迟。放射组学研究存在可重复性低、样本量小的问题“手工提取特征”难以捕捉图像全部信息。单模态深度学习模型仅依赖单一影像如MRI或WSI准确性需提升且缺乏多中心或前瞻性验证。多模态数据影像病理临床融合对pCR预测的价值尚未在乳腺癌中明确且深度学习模型的“黑箱”机制缺乏生物学解释。研究目标开发并验证多模态整合全自动流水线系统MIFAPS通过整合治疗前磁共振成像、苏木精-伊红染色活检全切片图像及临床风险因素预测局部晚期乳腺癌患者新辅助化疗后的病理完全缓解同时可视化模型关键区域并探索深度学习预测的生物学基础。03MIFAPS模型架构MIFAPS采用“三模态特征提取逻辑回归融合”的架构具体分为三个核心模块MRI深度学习模块输入多序列MRIT2加权成像T2WI、扩散加权成像DWI、对比增强T1加权成像CE-T1WI。流程基于U型网络实现肿瘤自动分割再用DenseNet121、ResNeXt101、ResNet101三种网络构建分类子网络通过“均值投票”整合多序列特征输出MRI分数。WSI深度学习模块输入苏木精-伊红HE染色的活检全切片图像40× magnification。流程基于CLAM库实现多实例学习通过注意力模块自动聚焦关键组织区域无需手动标注ROI提取1024维特征向量经全连接层输出WSI分数。临床特征模块输入患者临床指标年龄、肿瘤大小、雌激素受体ER、孕激素受体PR、人表皮生长因子受体2 HER2、Ki-67、分子亚型。流程通过单变量与多变量逻辑回归筛选独立风险因素最终确定年龄、HER2、分子亚型3个因素输出临床分数。融合公式MIFAPS score6.933×MRI score5.560×WSI score3.321×临床score-8.358基于逻辑回归系数确定。04数据和方法研究数据数据规模共纳入1004例局部晚期乳腺癌患者均接受NAC后手术且有完整的治疗前MRI、WSI及临床数据。数据分组训练验证集383例烟台毓璜顶医院2018.3-2022.4内部测试集95例烟台毓璜顶医院同回顾性外部合并测试集417例多中心2019.3-2022.10前瞻性测试集109例烟台毓璜顶医院2022.9-2023.1pCR定义术后手术标本及区域淋巴结中无残留浸润癌与原位癌依据Miller-Payne分级系统由2-3名资深病理医师评估。图 1患者入组工作流研究方法数据收集与质控制定严格入排标准如排除有放化疗史、治疗不完整、影像质量差的患者确保数据完整性与一致性。模型训练与优化各模态模型采用PyTorch框架训练MRI模块用Adam优化器初始学习率1e-4batch size8WSI模块添加dropout0.25抑制过拟合。融合阶段对比逻辑回归、K近邻、决策树、支持向量机等算法最终选择逻辑回归AUC最高。模型验证采用ROC曲线AUC、PR曲线AUPRC评估性能计算敏感性、特异性、准确性等指标用DeLong检验比较不同模型AUC差异P0.05为显著。可视化与生物学验证可视化用Grad-CAM生成MRI关键区域热图用注意力热图标注WSI关键tiles用HoverNet分割细胞类型肿瘤细胞、淋巴细胞等。生物学基础对67例患者进行RNA测序筛选差异表达基因DEGs通过GSEA分析富集通路用CibersortX评估免疫细胞丰度用免疫组化IHC验证CD4记忆T细胞、M1/M2巨噬细胞。05实验结果图图 3模型预测性能与亚组分析ROC与PR曲线A-HROC曲线MIFAPS在训练验证集AAUC0.994、内部测试集BAUC0.932、外部合并测试集CAUC0.882、前瞻性测试集DAUC0.909均显著优于MRI0.813-0.969、WSI0.774-0.895、临床单模态模型0.653-0.840且双模态模型如MRIWSI AUC0.861也不及MIFAPS。PR曲线应对pCR样本少的数据不平衡问题MIFAPS在外部合并测试集GAUPRC0.781、前瞻性测试集HAUPRC0.833表现稳定证明模型在真实临床场景样本不均衡中的实用性。亚组分析I-L分子亚型HER2过表达亚型AUC最高外部测试集0.962三阴性亚型次之0.758Luminal AB亚型稳定0.836说明模型对HER2阳性患者的pCR预测更精准。病灶大小≤2cm病灶AUC外部0.916、前瞻性0.962高于2cm外部0.876、前瞻性0.889可能因小病灶异质性低多模态特征更易捕捉。模型校正M-RMIFAPS可修正单模态模型的误判如外部测试集中修正MRI模型33.33%非pCR和89.47% pCR误判修正WSI模型91.28%非pCR和84.85% pCR误判凸显融合的纠错能力。图 4MIFAPS临床决策支持混淆矩阵A-B外部合并测试集A中93例真阳性pCR被正确预测、236例真阴性非pCR被正确预测前瞻性测试集B中22例真阳性、70例真阴性直观展示模型分类效果。治疗建议C-D真阳性患者93例外部、22例前瞻性可能受益于保乳手术甚至豁免手术替代乳房切除术。真阴性患者236例外部76.6%、70例前瞻性85.4%可避免无效NAC转入新疗法临床试验。误判情况仅14.7%外部、18.5%前瞻性患者可能错过有效治疗误判率低。图 5多模态模型可视化MRI可视化A通过Grad-CAM生成热图红色/黄色区域肿瘤及瘤周组织对pCR预测贡献更高绿色/蓝色区域正常组织贡献低说明模型能精准聚焦病灶。WSI可视化B-F原始WSIB高评分患者肿瘤区域更集中低评分患者纤维组织占比高。注意力热图C红色区域为高注意力区高评分患者聚焦肿瘤组织低评分聚焦肿瘤纤维组织。细胞分类D-F高注意力区域中高评分患者淋巴细胞绿色更多、肿瘤细胞红色更少P0.05与生物学基础一致。图 6MIFAPS生物学基础差异基因与通路A-B火山图A高评分与低评分患者间存在差异表达基因DEGs如CCL5、CXCL10、CXCL13免疫相关、EEF1A2细胞增殖相关。GSEA富集B高评分患者显著富集“免疫反应”“干扰素-γ生成正调控”“T细胞增殖”通路证明模型高评分与免疫激活相关。免疫细胞分析C-D箱线图C高评分组CD4记忆T细胞P0.010、M1巨噬细胞P0.073含量更高M2巨噬细胞更低M1抗肿瘤vsM2促肿瘤的平衡偏向抗肿瘤。IHC染色D高评分患者CD4记忆T细胞染色强、M1巨噬细胞多低评分患者M2巨噬细胞多直观验证免疫细胞差异。图 7误分类病例分析MRI误判A误判病例中模型关注非肿瘤区域如50岁非pCR患者MRI病灶5.8cm模型却聚焦无关区域可能因MRI肿瘤分割学习不充分。WSI误判B-C非pCR患者高注意力区域淋巴细胞多pCR患者聚焦结缔组织导致误判统计显示误判的pCR患者高注意力区域淋巴细胞少于正确病例P0.05。基因通路D11例误判病例中高评分患者免疫反应通路下调与正确病例的“免疫激活”相反推测免疫通路下调→淋巴细胞少→模型误判。表3临床风险因素单多因素logistic结果列出年龄、肿瘤大小、ER/PR/HER2/Ki-67、分子亚型等因素的OR值、95% CI及P值最终筛选出“年龄OR0.354P0.05”“HER2状态OR8.064P0.05”“分子亚型OR2.236P0.05”为独立预测因素。06讨论创新方向技术创新实现全自动多模态融合MRI模块自动分割肿瘤减少人为干扰WSI模块无需手动标注ROI提升临床适用性对比多种融合算法选择最优的逻辑回归融合策略。设计创新首次在乳腺癌pCR预测中整合“MRIWSI临床”三模态数据并通过多中心前瞻性验证解决了传统模型样本量小、可重复性低的问题。机制创新通过RNA测序、免疫细胞分析、IHC验证揭示了模型预测的生物学基础打破深度学习“黑箱”为模型临床转化提供理论支撑。临床价值个性化治疗治疗前预测pCR帮助医生为患者制定精准方案标准NACvs新药试验避免“一刀切”治疗。减少医疗资源浪费降低无效化疗比例减少患者毒副作用同时节省医疗成本。推动精准医疗为乳腺癌多模态AI模型的临床转化提供范式可推广至其他癌症的治疗响应预测。技术亮点实用性强全自动流程无需手动分割/标注符合临床快节奏需求易于推广。性能稳定在不同分子亚型、肿瘤大小、化疗方案的亚组中均表现良好泛化性优异。可解释性高通过Grad-CAM、注意力热图、细胞计数、分子通路分析多维度解释模型决策降低临床应用顾虑。
