## 514｜英国法官发现自己被写进AI伪造的判例中， AI幻觉进入深水区

你好，我是快刀青衣，欢迎收听快刀广播站，每天带你看AI。

今天给大家介绍一个关于法律和AI幻觉的真实案例。

英国媒体报道，法官在审阅法庭文件时，意外发现律师引用的大量法律案例竟然是由 AI 工具虚构出来的。英国高等法院法官维多利亚·夏普罕见地公开发文表示，这种行为已经触碰刑事红线，严重情况下，相关律师可能面临妨碍司法公正的指控，最坏的结果是——要承担刑事责任，甚至坐牢。

这么一看，人类律师暂时还是安全的，至少目前AI还不能替人去坐牢。

夏普法官在公开信里非常严厉地说，现在全球的司法系统都面临AI带来的新挑战。

他提到，自己最近接手的两个案件中，律师在准备法律论据和证人陈述时，使用了AI工具生成内容，但并未对这些结果进行仔细核实，结果导致虚假信息被直接提交给法庭。

如果说得严重点，就是AI胡编乱造的内容，已经堂而皇之地出现在了正式法律文件中。夏普法官警告，如果大家对这件事掉以轻心，后果将会愈演愈烈，最终可能动摇整个司法体系的严肃性与公信力。

他并不是在危言耸听，而是拿出了两个具体案例。看完之后，真的让人感到触目惊心。

第一个案例是一场重大金融诉讼案里出现了虚假判例。

在一起涉案金额约1.2亿美金、关系到卡塔尔国民银行的融资协议纠纷案里，律师在提交给法院的材料中，引用了18个根本不存在的判例。这些判例全部都是AI工具凭空捏造的。

这起超大乌龙事件发生后，原告客户哈马德·阿尔哈鲁恩不得不向法庭道歉，承认自己无意中让AI工具生成了错误信息，并且误导了最后的判决。更让人瞠目结舌的是，这些虚假判例里，居然引用了主审法官自己的名字。也就是说AI编造出来一个由主审法官迪亚斯作出判罚的往期案例，但迪亚斯本人根本没有判过这个案例。这个情节离谱到让法官都震惊。

代理律师后来承认了错误，还表示回去要“加强学习”。但细想一下，如果不是迪亚斯法官在AI编造的内容中看到了自己的名字，从而提高警觉，这些虚假的判例可能就会出现在正式法律文件中，甚至被其他案件引用，后果不堪设想。

从另一个角度看，这也说明了AI“编造能力”又上升一个台阶了。这份材料不可能是直接送到法官手里的，说明在此之前已经有多人看过，却没人察觉异常——因为那些虚假判例里，连主审法官的名字和职务都是真的，只有当事人本人才能察觉出破绽。

第二个案例发生在伦敦哈林盖区，是一起住房权益诉讼。

一名无家可归的男子为争取安置向当地政府提起诉讼，而为他提供法律援助的代理律师，在法律陈述中引用了5个根本不存在的判例。

这名叫萨拉·福里的初级律师起初否认使用AI工具，声称不清楚这些虚假案例从何而来，但也无法做出合理解释。主审法官对此作出严厉批评，认为福里及其所在机构的行为不当、荒谬，已失去应有的职业水准，并责令他们承担本案的诉讼费用。

福里辩称自己在实习期，缺乏监督，法律检索手段有限，但英国高等法院明确表示，这些都不能成为她使用AI随意编造案例的借口。

面对这两起案件，英国高等法院发布了措辞严厉的警告。夏普法官的原话是：“律师引用不存在的案例，已违反其不得误导法庭的职责，情节严重者可能构成藐视法庭罪；而在最恶劣的情况下，若明知故犯地向法庭提供虚假材料干扰司法，将构成妨碍司法公正的刑事犯罪。”

看这态度就明白了——我刚才说的那种“用不好AI、拿AI胡编内容直接交给法庭”的做法，真的不是闹着玩的，搞不好是要坐牢的。

值得注意的是，夏普法官从她的角度点出了问题的根源：那些免费开放的AI工具，比如ChatGPT，并不具备真正可靠的法律专业研究能力。她强调，律师有义务通过权威渠道核实AI提供的内容，不能因为工具方便，就忽视了人工核查的责任。

而这种事并不只发生在英国。早在 2023 年，纽约南区联邦法院就有一个类似案例：一名律师引用了ChatGPT捏造的6个判例，结果被法院罚款并要求公开道歉。这也是首次将“AI假案例”正式写入判决书，当时震惊了整个法律界。

就在上个月，一起最新出炉的音乐版权诉讼引发关注。由环球音乐等多家版权方联合起诉AI公司Anthropic，指控其在训练AI模型时滥用歌词内容，涉嫌侵犯版权。

可能有些同学对“Anthropic”这个名字不太熟，但说到他们家的聊天机器人“Claude”，应该就耳熟了——这家公司正是Claude的背后团队。

这起案例真正“翻车”的地方，是被告方请来的专家证人——数据科学家Olivia Chen。她在4月30日提交的专家声明中，引用了一篇并不存在的学术文章：标题、作者都是AI工具Claude编造出来的，唯一真实的是链接，指向了一篇毫无关联的论文。

原告律师在查看后自行核查，甚至致电期刊和所谓作者，发现根本没有写过这篇文章。所以他在5月13日的听证会上向法院提交证据，指出这属于“AI捏造证据”。

两天后，被告方律师解释称，这是在用Claude自动生成格式时出现的“尴尬而无意的错误”。但法官并不买账，直接回怼：“漏掉一个标点和引用AI胡编的内容，是两回事。这是个严重问题。”

更讽刺的是，这家律所是全球营收前五的大所，依然犯下了这种低级错误——而且还是被自己客户的AI工具Claude给坑了。

案例聊完了，再回头看这几例AI幻觉事件的时候，我有几个强烈的感受。

第一，现在AI的进步速度非常快。一方面，它在完成正确任务上的能力显著提升，但另一方面，以假乱真的“幻觉”能力也在同步增强。还记得一年前，很多AI输出的幻觉内容基本属于“一眼假”，根本不用专业人士，稍有常识的人就能识破。

可这几个案例中，AI已经能轻松骗过初级律师，甚至让法官都得认真核查。更重要的是，它输出的内容不再是纯胡编，而是“真真假假”混在一起——比如引用真实的法官名字、真实的论文链接，再夹带虚构的判例或引用。

如果这种“真假参半”的趋势继续发展下去，AI生成内容的审核难度只会越来越高，真实性验证将面临前所未有的挑战。

这不仅仅是法律领域的问题，实际上，对大多数AI生成内容的领域来说，也面临着类似挑战。现在可能出现的情况是：论文题目、作者、链接都是真的，但AI偷换了结论中的一句话。这种“内容微调”的幻觉，让识别难度比以往整篇胡编的情况又提升了一个台阶。

第二，我最担心的还不是这些偶发的“翻车”案例，而是如果虚假的 AI 内容一步步“挤进”权威渠道，那该怎么办？想想看，这几起被揭露的案例本身都有偶然性，如果不是有人细查、较真，很可能就蒙混过关。

而一旦审核者要么睁一只眼闭一只眼，要么本身也在用AI做审核，那这些掺假的内容就可能一路流入权威论文库、判例库、期刊、维基百科……最终变成下一轮AI训练或引用时的“合法来源”。

在心理学上，有一个概念叫“真相错觉效应”，意思是：无论信息是真是假，哪怕看起来再荒诞，只要被反复重复，就会因为熟悉感而被人当成是真的。

1977年，维拉诺瓦大学和天普大学联合做了一个实验。著名认知科学家、心理学教授林恩·哈舍尔三次向同一组大学生展示了60条似是而非的陈述，有真有假。三次展示之间间隔两周。结果发现，那些被重复过的“谣言”，每次的可信度评分都在上升，而那些没有重复的内容，可信度则没有变化。

也就是说，同一句谎话，学生们可能第一次不信，但第二次、第三次再看到，就因为“眼熟”而越来越觉得它“靠谱”。这个实验的核心结论是：重复，会让谎言更像事实。

其实想想，现在都已经是2025年了，上个月还在流传“陈奕迅去世了”这样的假新闻。20年前，类似的谣言可能只是出现在北京地铁车厢里，街头小报摊贩大喊一句“刘德华跳楼自杀啦”，传播范围有限，很快就被当作笑谈。

但今天，有了AI，还有短视频平台和社交媒体的推波助澜，哪怕只是一句玩笑话，也可能被层层放大、不断转述，最终演变成一个看似“有图有真相”的天大谣言。

第三，之所以这件事格外重要，是因为它会形成一个“漩涡效应”——AI工具本身就像一个放大器。

它们会从网上进行海量抓取，特别是像百家号这类平台，往往含有大量前一代大模型生成的内容。这些内容本身就掺杂着幻觉，AI工具在训练中又“抓取并吞下”这些信息，无形中进一步放大了原本的偏差，最终输出的内容变得面目全非。

更关键的是，一旦这些虚假内容被无意中放进了权威渠道，比如论文库、案例库、百科等，AI后续在生成时就会引用它们作为“合法依据”，用新的结果反过来佐证旧的谣言，形成自我封闭的死循环。

再叠加上人类的“真相错觉效应”——同一句话看过几次，就会觉得它靠谱——这些幻觉内容就可能越来越被当成“常识”接受。

今天讲这个案例，并不是为了反对在这些场景中使用AI。我相信，在很多环节里，AI 都确实能发挥巨大作用。但我想强调的是，这口锅不该全让AI来背。

真正的问题，其实是“人+流程”的懒惰。在这些案例中，律师把 AI 的输出当成了“真理”，却没有进行应有的复核。这才是最大的风险。

所以无论是医院、律所，还是学校，都不能因噎废食，而是必须建立起一个简单清晰的可信度分层机制，加上人工复核流程：对于可信度高的来源，比如政府公报、官方数据库，可以抽样检验、确保更新；而像社交媒体内容或AI生成文本这类低可信来源，就必须经过人工把关。

我有个给同学们的小建议：把AI当作一个学识渊博的助手，它懂得多、视野广、全天候待命，但也可能偶尔犯点粗心的小错。所以，永远不要把它的输出直接当作你的“作品”。

你可以让它帮你拓宽思路、辅助调研、生成几篇不同风格的初稿，但最终的作品，应该是你在它的辅助下，亲自打磨出的、真正带有你个人风格和判断力的内容。那才是属于你的“作品”。

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025062020/1879501625656155836/062020.jpeg)
