## 781｜斯坦福开源Merlin模型：从2D到3D，AI如何解决CT影像处理难题？

你好，我是快刀青衣，欢迎收听快刀广播站，每天带你看AI。

请你先想象这样一个场景：你是一名放射科医生，每天上班后，电脑屏幕上打开的不是一张片子，而是几百张。一次腹部CT扫描，需要仔细查看几百张断层切片，逐一确认每一层是否存在异常，平均每次要花费20分钟。看完一个患者，紧接着还要看下一个。

现实压力远比想象更严峻，全球每年要做的CT检查总量约3亿次，其中腹部CT占比四分之一，也就是约7500万次。咱们来做个简单算术，就能发现，如果一名放射科医生不眠不休工作，每次的CT片子得看20分钟，单是腹部CT这一项，就要花费差不多2854年才能看完一年的检查量。

这不是夸张，印第安纳大学理查德·甘德曼（Richard B. Gunderman）教授曾在《Academic Radiology》期刊上分享过一个案例，一名放射科医生在单周工作97小时后，突发高血压危象，最终导致一只眼睛永久性失明。多项研究数据显示，放射科住院医师的职业倦怠率高达80%-90%。职业倦怠很好理解，就是“不想干了”。但这并不是因为医生不够敬业，而是行业人力缺口实在太大，现有人员根本无法填满这个缺口。据预测，到2036年，全球放射科医生缺口将超过19000人，与此同时，CT和核磁共振的检查量还在以每年3%到5%的速度持续增长。

在这样的背景下，用AI来帮忙，无疑是正确的方向。过去几年，医学影像AI领域也确实发展速度极快。我看了下，美国FDA批准的放射学AI工具已超过1000种。听起来很多，对吧？但这里有一个根本性的问题，这些AI工具，绝大多数是2D的。

这是什么意思？2D又有什么问题？这就要从CT扫描本身说起。CT扫描并不是拍一张普通照片，它本质上是生成人体的“切片影像合集”，机器从头到脚，把人体“切”成几百层横截面，生成几百张独立图像。只有把这些切片叠到一起，才能构成完整的人体立体影像。人体的肝脏、肾脏、胰腺等器官，形态、大小以及和周边器官的位置关系，全都藏在这个三维空间里。

但市面上现有的多数医学AI，处理CT影像的方式是这样的：只能一张一张看切片，就像翻书一样，每次只能看到当前一页内容，不知道整本书在讲什么。这并不是研发人员偷懒，而是从2D平面图像分析，跳到真正的3D立体影像理解，技术层面存在很高的门槛。之前我和同学们介绍过李飞飞教授的世界模型，底层技术难点和这个一样的。如果你想了解一座城堡的结构，只看几千张零散的平面照片，你还是无法摸清城堡的整体构造。

也正因如此，现有的这些医学影像类AI工具，只能针对特定器官、特定疾病做单项检测，换个场景或者换个其他器官，它就不好使了。而且大部分2D AI，都需要依赖大量人工标注，需要医生逐张在影像上圈出病灶位置才能完成训练。这套流程成本极高，规模化很难实现。更不用说，不同医院、不同设备的标注数据大多不对外开放，这进一步限制了AI的发展。

这就形成了一个尴尬的局面：医学影像AI工具数量繁多，但它们大多都在做小而精的单点任务，没有一个真正“懂”CT是什么。

这个局面，在最近被打破了。

斯坦福大学研究团队在《自然》杂志上，发布了一款名为Merlin的全新模型，这是一款真正意义上的原生3D视觉语言模型。“原生”两个字很关键，它不是把2D图像简单堆叠起来凑成3D效果，而是从研发初始，就直接将完整的腹部CT立体数据作为输入，实现全方位、整体性的影像理解。

这听起来有点儿抽象，我用个生活化的方式解释一下。我们都在超市买过成包的切片面包，2D AI就像是我在你面前，一片一片展示切好的面包片，展示完10片后，再让你凭空想象完整面包长什么样；而3D模型则是直接拿出一整块完整面包，能让你直观、精准地理解整体结构。

Merlin能做什么？简单说，它能查看CT影像，能生成放射科报告，能完成器官3D分割，还能通过单次CT扫描预测患者未来5年内患各类慢性病的风险。而且这些事，它可以同时做，并不是针对某一种疾病的专用工具。

这个研究团队来自斯坦福大学的两大核心AI研究机构——MIMI和AIMI中心。第一作者路易斯·布兰科迈尔（Louis Blankemeier），全程负责项目的数据收集、代码开发和模型训练；通讯作者阿克谢·乔杜里（Akshay Chaudhari）作为项目首席研究员，获得了美国国立卫生研究院（NIH）和美国健康高级研究计划局（ARPA-H）的多项资金支持。论文作者团队里，还有来自谷歌的研究员。这篇论文通过严格同行评审，成功发表在《自然》杂志主刊上。要知道，在医学AI领域，《自然》主刊属于分量极重的顶级期刊。

说回Merlin。Merlin能实现这样的突破，有两道坎要过。第一道坎，就是从2D影像到3D影像。

你可能会想：把几百张2D切片图像叠起来，不就是3D了吗？没那么简单。2D图像神经网络，是依靠几千万张普通照片训练而成，它“看世界”的方式，是基于平面像素的排列组合，你让它直接理解一个三维的人体器官，就像让一个只看过平面地图的人去判断山脉的实际高度，地图上包含所有基础信息，但缺了那个关键的维度感。

研究者们用了一个叫“3D权重膨胀”的技术来解决这个问题——把原本在2D图像上训练好的神经网络权重，沿着第三个维度“膨胀”开来，把2D的感知能力延伸成3D。这不是简单地堆叠，而是在保留已有学习成果的基础上，重新构建空间理解能力。

换句话说，他们没有从零开始，而是找到了一种“改造”的方式，让模型能站在已有知识的肩膀上，重新学习看立体的世界。

第二道坎，是数据和标注。

医学AI有个老大难问题：你需要的训练数据，只有医生能标注，而医生的时间是最贵的资源之一。给几万张CT图像逐一标注病灶位置，这本身就是一项巨大的工程，很多研究因此被困在“数据不够”这一关。Merlin的解法是绕开这个问题：不要医生来专门标注，转而使用医院日常运作中已经产生的数据，比如放射科报告里的文字、电子病历里的诊断代码。这些数据已经存在，只是以前没有被当作训练素材充分利用。

研究团队用于训练Merlin的数据规模十分可观，涵盖15331次CT扫描对应的600多万张图像，加上180多万条诊断代码，以及600多万个词元（token）的放射科报告。这样的数据规模，已经远超绝大多数同类研究项目。

这里有一个很有意思的细节我要单独说一下。研究者在整理这批报告数据的时候，发现了一件事：有21%的放射科报告，长度超过了512个词元（token）——这是早期大多数医学专用语言模型能处理的上限。换句话说，现有的很多医学AI，不光是“看不懂3D”，连真实临床报告的文字都读不完整。Merlin采用了专门支持长文本的临床语言模型，才能把这些报告完整地纳入学习。这个21%的数字听起来小，但背后说明的是：用来训练和评估AI的数据，如果偷工减料，你训练出来的东西和真实临床之间，就会存在一道隐形的鸿沟。

那么，训练好之后，这个模型到底行不行？

论文中的评测规模，在医学AI领域十分罕见：752项具体任务、6大核心类别，从零样本疾病分类，到5年慢性病风险预测，再到3D器官分割，多方位来做性能测试。

有一个对比，放射科医生看了可能会沉默一下。在3D器官分割这项任务上，研究者只用了10%的训练数据，Merlin的表现就已经超过了nnU-Net。nnU-Net是目前医学图像分割领域公认最强的专业工具，是专门为分割任务设计的。Merlin不是分割专用模型，却在数据量只有对方十分之一的情况下赢了。这说明它学到的3D空间理解能力，是真实的、有深度的，而不是靠堆数据硬凑出来的。

更让人意外的是，Merlin可以从一次腹部CT扫描中，同时预测692种临床表型，比如各种慢性病的风险、身体的各项指标，平均准确率达到0.81，其中有15%的表型预测准确率甚至超过了0.9。这个能力的存在，意味着一次CT扫描不只是在“找问题”，还可以提前感知风险，而且感知的维度极其宽广。

除此之外，Merlin的泛化能力也是这次评测特别有说服力的地方。Merlin不只是在研发团队自家实验室数据集上跑出了好成绩，研究团队还通过来自3个完全独立的外部医疗机构，加上2个公开数据集，累计44098例CT扫描图像，对Merlin的能力进行了验证。

这些验证场景来自不同医院、不同设备厂商、不同地区、不同患者群体，而在所有这些场景下，Merlin的性能始终保持高度一致性。44098次的验证，这不是实验室里的理想成绩单，而是真实世界里的硬核测试。

最后，我还想单独说一件事，就是这次斯坦福团队做的另一个决定——他们开源了。

他们开源的不只是模型代码，还有一个数据集：25494份腹部CT扫描数据，每一份都配上了对应的放射科报告，涉及18317名独立患者。所有数据都已经过“去标识化”处理，托管在斯坦福AIMI中心平台，全球相关研究者只需填写一份数据使用协议，就能申请下载使用。

你可能会问：一套公开数据集，到底有多大的行业意义？

在医学AI领域，这件事的意义远比你想象的大。医疗数据天然涉及患者隐私，各国法规严格，导致高质量的医学影像数据集极度稀缺，大多数团队手里的数据都是各自为战、不对外公开的。全球的医学AI研究者，很多时候不是被算法卡住，而是被数据卡住——研究者找不到足够多、足够高质量、足够规范的数据来训练和验证自己的模型。

这套包含25494组配对报告的CT扫描数据集，是目前腹部CT领域规模最大的公开数据集之一。它的开放，意味着全球其他研发团队可以在此基础上继续深入研究，用同一套数据完成横向性能对比，可以加速整个医学AI社区在3D影像理解这个方向上的进展。

模型是这一个团队的突破，数据集是整个领域的礼物。

说实话，我觉得这篇论文最有意思的地方，不是那些数字，而是它在回答一个问题：AI什么时候才算真正进了医院？对于每一个坐在读片灯前、面对几百张切片的放射科医生来说，这个答案变得越来越真实了。

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

> 论文地址：
> https://www.nature.com/articles/s41586-026-10181-8
> 模型&数据集地址：
> https://github.com/StanfordMIMI/Merlin

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026030622/1903537957010340496/030622.png)
