【博览】《梅斯AI情报社》:“用医生的眼睛”看片子!中国团队创新研究——用眼动追踪训练AI,诊断准确率超96%

新闻

作者：微信文章



精准的病理学诊断是临床治疗决策的关键基础，然而传统的数字病理分析依赖病理学家对全幻灯片图像（WSI）进行逐像素标注，耗时耗力，严重限制了大数据集和高精度AI模型的构建。

来自东北大学、中国医科大学等单位的研究团队在Nature Communications上发表了一项创新性研究，利用眼动追踪技术捕获病理学家在阅片过程中的视觉行为，并构建了一种名为PEAN（Pathology Expertise Acquisition Network）的深度学习系统，成功将病理学家的专业知识“解码”为AI可学习的特征，实现了高效、精准的WSI辅助诊断。





研究背景

当前基于深度学习的病理图像诊断系统大多依赖像素级人工标注，一张WSI包含数十亿像素，标注一张图像平均需14.2分钟，极大地消耗了医疗人力资源。即使是弱监督学习方法虽降低了标注成本，但因缺乏病理学家先验知识指导，模型性能和鲁棒性较差，且难以区分诊断相关与无关图像，导致模型在临床应用中的推广受限。

眼动追踪技术的成熟为这一难题提供了新思路。病理学家的诊断过程本质上是视觉搜索与判断的过程，其眼球运动、注视点分布等行为数据，实际上蕴含了其专业的诊断逻辑与注意力分布。



研究方法

研究团队收集了5881张不同皮肤病变类别（良性痣及基底细胞癌、黑色素瘤、鳞状细胞癌、脂溢性角化病四种皮肤癌）的全切片图像（WSI），并利用眼动追踪设备获取病理学家对这些WSI的审查视觉模式数据，包括眼动轨迹、放大缩小及平移操作、最终诊断结果等。基于这些数据，设计了深度学习系统——病理学专家经验获取网络（PEAN），旨在从病理学家的视觉行为中解码专业知识，并将其应用于WSI的诊断。



PEAN系统核心在于定义“病理学家注意力”，包含三个核心模块：专业知识提取模块从眼动数据中学习病理学家的“注意力分布”，为每个图像块分配“专业知识值”；分类模块（PEAN-C）利用注意力权重进行WSI级分类；模仿模块（PEAN-I）通过强化学习模仿病理学家的视觉搜索轨迹。通过对比病理学家手工像素级标注图、视觉关注热图、PEAN输出的专业经验值热图以及PEAN筛选的可疑区域图，研究验证了PEAN所提取的专家经验与病理学家实际诊断依据区域的高度相关性。



关键结果

PEAN在内部测试集（2431张WSI）和外部测试集（1982张WSI）上分别实现了96.3%和93.0%的诊断准确率，AUC值分别高达0.992和0.984，显著超越了八种其他深度学习模型（包括全监督学习和弱监督学习模型），在分类性能和鲁棒性方面表现卓越。

进一步分析表明，PEAN不仅能从多位病理学家的经验中学习，提升分类能力，其模仿病理学家视觉诊断过程的模块（PEAN-I）更是实现了“类人类”的病理诊断。PEAN-I通过自主探索WSI，捕捉图像图块并基于当前图像确定下一步位置，模拟病理学家审查WSI时的视觉轨迹，最终输出诊断结果。实验显示PEAN-I与病理学家识别的区域存在重叠，且其识别的图像在统计学上被证明有助于诊断（平均诊断准确率提升1.24%，p=0.0053），有力验证了其可解释性和有效性，填补了深度学习模型模仿人类诊断过程的空白。

PEAN的实际应用价值不仅体现在高诊断性能上，其数据采集成本低也是重要优势。眼动追踪数据采集可无缝融入病理学家日常工作流程，无需重复审查，最大限度降低人力成本。眼动数据收集仅需36.5秒/WSI，相比人工标注时间减少至4%；病理学家的注视点与真实病变区域重合度高达87.4%。虽然多位病理学家的视觉行为存在差异，但融合后能提升模型性能。



研究意义

PEAN不仅能输出诊断结果，还能高亮显示病理学家可能关注的疑似区域，与真实病变区域高度重合，极大增强了模型的可信度和可解释性。此外，PEAN-I模块能模拟病理学家的阅片路径，自动选择关键区域进行诊断，为病理医师培训提供新途径。

尽管当前研究仅涉及5名病理学家和5类皮肤病变，但PEAN框架具备良好的扩展性与迁移性。未来可通过收集更多病种、更多医师的数据，进一步优化模型，并将其推广至乳腺、肺等多种组织的病理诊断中。

这项研究做了一件很“聪明”的事：它没有让AI凭空学习，而是像学徒一样，悄悄观察资深病理医生是怎么看片子的——看哪里、看多久、怎么移动视野——然后从中学会了如何抓住诊断的关键。

这样一来，AI系统既保留了专家的经验，又大幅节省了标注时间。它不再需要医生一张张手动框出病变区域，而是通过追踪医生的目光，自动识别出值得关注的区域，从而实现了快速、精准的辅助诊断。这一成果不仅有望在临床工作中广泛应用，减轻医疗资源压力，还为病理学家的教育培训提供了新思路，通过收集和分析专家的视觉行为数据，为初级病理学家提供标准化的视觉行为指导，推动病理学专业发展迈向新高度。

参考链接：

Nan, Tianhang, et al. “Deep Learning Quantifies Pathologists’ Visual Patterns for Whole Slide Image Diagnosis.” Nature Communications, vol. 16, no. 1, July 2025, p. 5493. www.nature.com, https://doi.org/10.1038/s41467-025-60307-1.