健康所发布新型AI医疗诊断系统MultiXpert:实现零样本精准诊断,让AI胸片诊断更聪明

新闻

作者：微信文章


近日，中国科学院合肥物质院健康所李海研究员团队开发了一种新型AI医疗诊断系统：MultiXpert。该系统能够在“零样本”（zero-shot）条件下对胸片（Chest X-Ray，CXR）进行智能诊断，意味着它无需任何标注数据，就能识别甚至从未见过的疾病，从而使AI具备更接近医生诊断思维的能力。相关研究成果发表在计算机科学与信息管理领域一区TOP期刊《Information Processing and Management》上。



胸片是临床最常用的影像学检查手段之一，用于肺炎、结节、气胸等多种疾病的筛查，但人工判读耗时且依赖专家经验。传统AI系统虽然在一些任务上能媲美专家，却又严重依赖大量人工标注的数据，难以应对新发疾病或不同医院之间的数据差异，导致模型泛化能力有限，无法满足复杂临床环境下的精准诊断的需求。

为了应对这一挑战，李海研究员团队提出了多模态双流协同增强的新思路，构建了一个无需额外标注数据即可实现零样本高精度诊断的胸片智能分析框架：MultiXpert。该模型能够同时处理图像与文字信息，并利用大语言模型和放射科专家知识优化病灶描述，实现图像与语言的深度融合，让AI在未见疾病中也能“看懂”胸片，从而更加趋近于医生的思考逻辑。具体来讲，在图像分支中，通过引入病灶感知掩码机制，MultiXpert能够在无显式标注情况下提升对潜在病灶的特征表达能力；同时，通过分层记忆矩阵实现全局解剖信息与局部病灶特征的动态平衡，显著提升模型对复杂影像的结构化理解能力。在文本分支中，联合大语言模型（ChatGPT-4o）与临床专家知识，MultiXpert能够对疾病描述进行语义校准与结构化重构，生成同时具备解剖精准性与临床标准化的病理描述文本，增强医学语义的表达一致性。最终，通过跨模态语义对齐模块实现多粒度信息的互补融合，有效提升了模型在零样本条件下的病灶识别与诊断性能。实验结果显示，MultiXpert在四个单标签公共数据集上平均AUC提升达7.5%，在零样本场景下较主流视觉语言模型平均提升3.9%。在来自十家医院的多中心私有数据上，MultiXpert较传统监督模型（如ConvNeXt）提升13.9-22.6%，充分证明了其优异的跨中心泛化性能与临床可迁移性。

该项研究为胸片零样本智能诊断提供了新的技术路径，也为医学AI从“依赖标注”迈向“自主理解”提供了新范式，标志着医疗AI在零样本学习领域的新突破。李海研究员团队长期聚焦于AI+医学影像研究，致力于推进智慧医疗的技术创新和临床转化。未来，团队将进一步拓展该模型在多病种、多模态影像（如：X光、超声、CT、MRI）中的应用，推动其在临床场景中的落地转化，助力构建更加智能、精准、可解释的医学影像分析体系。



多模态双流协同增强模型（MultiXpert）结构示意图

该论文的第一作者为中国科学技术大学2023级博士研究生王俊杰，通讯作者为健康所李海研究员和王腾飞博士。本研究得到了国家自然科学基金和安徽省重点研发项目的支持。

文章链接：https://doi.org/10.1016/j.ipm.2025.104468

近期要闻
中国科学院副院长张亚平院士调研健康所中德中西医协同发展合作备忘录在合肥签署德国国家科学院院士罗兰·艾尔斯教授等作客健康所“医路研谈”大讲堂
TOP期刊封面！健康所开展代谢组学模型动物GC-MS检测分析研究TOP期刊封面！健康所开发一种纳米“口袋”自动捕获目标物分子的SERS方法TOP期刊封面！健康所在单颗粒纳米腔中最终近场增强极限探测研究方面取得新进展TOP期刊封面！健康所提出一种质谱仪离子高效传输的静电场离子漏斗聚焦新技术重磅！健康所2个1类抗肿瘤创新药获批临床试验哈佛海归团队：在科学岛上种下“抗癌梦”日本放射性废水对周边生物圈和人类危害机理及其防护战略研讨会暨放射化学学科发展研讨会在肥召开赵国屏院士莅临健康所考察指导并作专题报告
喜报！健康所成果获2020年度国家科学技术奖脂肪肝变肝癌？健康所科研人员有新发现！
TOP期刊！健康所肺癌闻诊标志物研究取得新进展顶级期刊！健康所开发出一种检测新冠病毒表面S蛋白受体结合域的新方法
顶级期刊：健康所提出云集“围攻”生物靶标智能纳米机器人模型
健康所13项国家自然科学基金项目获批资助肺癌早筛福音！健康所开发出基于血液cfDNA甲基化的肺结节良恶性无创诊断模型针对急性白血病的国家1类创新靶向药启动II期临床试验
健康所临床部荣获“全国巾帼文明岗”称号
刘静研究员荣获“安徽省直优秀女性”称号健康所JACS：自动捕获目标物分子的SERS新方法合肥物质院与安医大一附院签订战略合作协议