## 178｜哈佛医学院发布病理学AI助手，肿瘤识别率近90%，碾压GPT4

伙伴们，快刀广播站又开始广播了。

之前在咱们广播站里，我给大家介绍过好几期AI在医疗健康领域的应用，例如骨科方向就属于进展比较快的，因为大部分骨科的问题，复杂程度没那么高。不过随着大模型的快速发展，AI在其他医学领域上也发挥着不可忽视的作用。

最近，生物医学人工智能公司Modella AI，发布了一个专门用于人类病理学的多模态AI助手，叫PathChat2。多说一句，这家公司的核心团队都出身于哈佛医学院。

之前我介绍过，骨科医学助手现在可以帮影像科医生看X光片，这个名叫PathChat2的助手作用也类似，它主要能从活检切片等检测中，提前精准识别和诊断肿瘤。在传统的治疗流程中，这些工作都比较依赖专业医生的经验和知识，但是随着医生分工越来越精细化，如果让一个没有经过病理学专业训练的医生来判断病情，这事儿就有风险了。

对于癌症或者肿瘤病人来说，需要接受“转移”、“活检”等专业检查和治疗流程。一般这种病，如果最初忽视了，或者没有检查出来，那么就会造成无法挽回的结果。

Modella AI的研究团队在模型预训练阶段，用了100多万张切片，这些切片附带了1亿多个细胞组织的图像片段。他们团队用这些图像，再加上45万条指令，对模型进行微调，最终构建出了现在的PathChat2助手。这是他们的第二代AI助手了，第一代助手于去年12月推出，当时还在著名的学术期刊Nature上发表了，一下子就引起了业内的关注。只不过当时的版本还比较简单，并没有加入多模态的能力。

听到这里，你一定对我刚才说的“多模态”比较好奇吧？多模态到底是什么场景呢？我也是纯外行，所以就去看了几个PathChat2助手的工作演示视频，一下子就理解了。

例如里面有个场景是，没有多模态能力之前，医生的工作流是先把组织切片的影像数字化，然后转换格式，最后再发给AI助手。而最新的PathChat2版本，因为有了多模态能力，所以可以直接连接到电子显微镜的后台。医生可以一边截图电脑屏幕左侧的检查结果，一边直接针对这个部位开始向AI助手提问。

还有个场景是，哪怕没有电脑，你用手机蓝牙连接电子显微镜，也可以把放大的图片直接发给AI助手。这个场景就非常顺滑和方便了，因为卖一二百块钱的孩子们玩的电子显微镜，其实也都可以保存高清图片。

当然，这些场景只是让医生使用起来更方便了。对于医学类的智能助手，最重要的衡量标准是诊断结果的准确率。Modella AI在研究论文里，专门把自己的模型，跟另外三个模型做了对比测试，分别是GPT-4V视觉模型、开源模型LLaVA，还有专门为医学领域定制的行业模型LLaVA-Med。

测试时，研究团队把不同器官部位的病理图片或者案例，给到这些大模型，然后分别向它们提问，以此来测试四个模型的能力水平。其中一个案例很有意思，研究团队用一张潜在的眼部肿瘤的局部病理图片测试，分别问这四个模型，患病的部位、病源还有可能的患病范围。

前面提到的医学专业模型LLaVA-Med认为这个肿瘤长在脸颊的内壁，开源的LLaVA模型认为这张图片是乳腺恶性肿瘤，这错得就比较离谱了。而GPT-4V说了很长很长的一段话，但里面没有任何有价值的信息。而PathChat2正确说出了这是眼部的肿瘤，还说如果不及时治疗的话，有可能会导致失明。

为了评估整个助手的诊断准确率，团队招募了一个7人的外部病理学专家，组成评估小组。评估的方式有两种，一种是单独的一张图片和10道选择题，由此来看模型是不是准确识别出了图片。另一种方式是图片和病情都有，例如性别、病历等信息，然后让助手去诊断病情。

最后的结果是，当仅仅给助手提供图片时，PathChat的准确率为78%；如果提供了病人的详细情况，那么诊断的准确率会进一步提升到89.5%。这个数值要远远超过其他几个同时参与测试的大模型，我把他们的成绩截图放在文稿里了，相信你会感受到什么叫碾压式的胜利。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024071112/1847557102018015692/071112.png)

当然，PathChat有更好的测试结果，也是因为它本来就是为识别肿瘤而做的，所有的训练都瞄准这个方向，而其他的大模型承担的通用任务更多，所以在单一的细分领域就很难超过专有的模型。

在论文中，研究团队也讲了训练这个AI助手的意义所在，一方面是为病理学医生更好地提供辅助决策，例如提供更多的信息来验证医生的判断是否准确。特别是很多复杂病因的癌症，出现病变和转移时，AI往往能综合更多的信息得出有价值的判断。另一方面，如果有些地方医疗资源匮乏，没有办法接触到经验丰富的病理学家做检测，那么等类似的技术成熟后，就可以帮助很多缺少资深病理学家的医院来提高诊断水平了。

最后再说一件咱AI学习圈的事，今天易珊霞老师的《如何用AI设计电商海报》更新啦，这一讲将带你生成人物肖像，帮你轻松用AI控制人物的动作、表情和样貌，推荐你现在就去AI学习圈首页看看。

好，今天的快刀广播站就到这里了。如果你觉得今天内容有帮助，欢迎转发给你的朋友。明天咱们接着聊。

【相关链接】

ModellaAI 官网

https://www.modella.ai/index.html

Nature论文：人类病理学的AI多模态助手

https://www.nature.com/articles/s41586-024-07618-3

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024071112/1847557152483386844/071112.jpeg)
