## 311｜斯坦福等团队找50名医生研究AI帮助诊断，结果证明AI独立判断准确率远超人类医生

伙伴们，快刀广播站又开始广播了。

这周，斯坦福大学生物医学研究中心、斯坦福大学医学部、哈佛医学院等机构联合发布的一篇论文受到了关注，这篇论文的标题叫做《大型语言模型对诊断的影响》，探讨的是AI在医生诊断决策中的作用。

这篇论文连OpenAI的总裁布罗克曼都进行了转发，原因很简单，因为结论太让人惊讶了。我先说这篇论文得出的数据，就是人类医生单独做出诊断的准确率为74%，在ChatGPT的辅助之下，这个数字提高到76%，说实话，仅仅2%，与其说是提升，倒不如说是数据波动，最让人吃惊的是，如果让ChatGPT单独做这几个病例的判断，也就是说让AI随便自由发挥，这个准确率直接达到了90%。

也就是说，我们原来以为AI可以给我们当辅助，但实际上，让AI独自当主力，可能最终的效果更好。

我跟同学们先简单介绍一下这个论文结论背后的试验规则。这个试验是从去年年底开始的，通过远程会议和去多家医疗机构面对面宣讲的方式，招募了50名医生，其中有26名主治医生，24名住院医生，平均从业年限为3年。如果你之前看过例如《良医》这种医疗剧时，就比较了解住院医生其实相当于咱们国内的实习医生。

首先这个研究团队选出了105个经典病例，然后进行了一定的专业改编，这些案例都来源于真实的病人，只不过最终诊断结果都没有公开，也就是他们不可能在网上看过一样的情况。这篇论文的作者里，有四名是专业的医生作者，他们最终选出了6个入选病例，每个参加试验的医生有一个小时的时间来看完病例，给出诊断结果。

其次这个试验的评估办法还挺有意思，他们搞了一个叫做“结构化反思”的工具，就是每个参与者，需要填写一个结构化的表格，分别是最可能的三个病症诊断结果，支持和反对每个诊断结果的原因，纯结果的环节只有3分，但是这个环节就能到12分，因为你需要拿出前面猜测的诊断结果证据，这就是不能只判断啥病，还要能说出来怎么得出判断的。

第三步是最终诊断，从最开始的三个里，选出一个最后结果。第四步就是要列出三个他们认为必要的后续诊断措施。

这完整的四步走下来，其实每个填了表的医生，就很难通过随便猜一个的方式来回答，必须非常认真的填写诊断。

而对于参与的医生，会随机分成两组，一组是独立判断，一组是在ChatGPT协助下进行判断。

在研究设计上有个亮点，就是团队按照规则，迭代了一版给ChatGPT的指令词，然后一名研究者把病例数据输入ChatGPT，每个病例都要独立运行三次。ChatGPT的输出跟人类医生的排版和形式都一模一样，研究人员不能对ChatGPT的输出做任何的人工修改，直接把结果和人类医生的结果一起交给医生评分小组进行盲评，也就是说打分的医生也不知道哪些是人类的答案，哪些是AI的答案。

最后的结果，我开始时已经说了，AI自由发挥的话，准确率在90%，远高于人类医生的诊断或者人类医生和AI的合作诊断。

罗德曼博士对结果也非常吃惊，他说原本自己预计AI能非常明显的帮助到医生，在看到有没有AI对医生诊断结果帮助不大时，他感到很吃惊，然后去深入地看了一下过程。他说医生在收到AI的建议时，如果AI的建议跟自己的判断不一样，那么大部分医生会固守自己的判断，他们不相信一个AI会比自己更了解病人。另一个问题是，很多医生并不知道如何充分的利用人工智能的能力。

在这个论文出来之后，OpenAI公司总裁布罗克曼在社交媒体上说，“AI还有很大的潜力未来可以帮助到我们，另外在人类和AI合作上，还有很长的路要走。”其实这句话就是在说很多人还不会与AI合作。我特意翻了一下他这条内容下的评论，点赞最多的评论很有代表性，一名叫Rex的网友说：“感谢你们正在做的事情，未来人工智能一定会更有帮助，因为我上次去看医生，他非常不屑，也很漫不经心，只给我看了15分钟。”

一个病人能看15分钟，估计咱们同学里，不管病人还是医生都沉默了。不过最后我必须提醒几句，首先是这个试验的样本量太小了，只有50个医生，没办法代表整个医生群体或者不同的科室。其次有可能是参与试验的医生对AI并不是很熟练，或者并没有把最完整的病例发给AI，才导致帮助不大。

哪怕AI独立判断病情准确率再怎么提升，我也希望未来是人类医生用AI来作为决策辅助，因为只有人类医生才有共情能力，而不是冷冰冰的机器逻辑。要知道有部经典的科幻电影《2001太空漫游》，里面的机器人哈尔9000就是因为收到了两条人类设计者给它的指令，这两条指令完全矛盾，这让它陷入了两难境地，最后为了能完成设计者的任务，哈尔9000最后的理性决策是除掉所有的人类船员。医学决策也是这样，很多时候不仅仅是冷冰冰的诊断结果，需要我们有很强的共情能力，所以期待AI可以快速发展，能减轻很多人类医生的负担，但是最后的决策权，还是保留在人类医生手里吧。

最后提醒你一下，订阅了AI学习圈的同学，记得点击文稿区的链接，添加AI学习圈小助手，小助手会拉你加入咱们的同学群，群里有学习委员，还有很多懂AI的高手，大家有问题一起互帮互助，用好AI。

点击加入AI学习圈同学群

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

【相关链接】

论文地址：

https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2825395

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024112118/1859918073730506672/112118.jpeg)
