## 841｜ChatGPT突然满口“哥布林”：它学到的可能根本不是你想要的

你好，我是快刀青衣。欢迎收听快刀广播站，每天带你看AI。

这几天AI圈里流传着一个让人哭笑不得的故事，不算什么大事，但是我觉得很有意思，拿出来和你分享一下。

最开始是有用户发现，自己的ChatGPT最近说话越来越奇怪。你让它解一道数学题，它回答得好好的，最后会莫名其妙补上一句话：“但这里藏着一个重要的哥布林。”

就是这么一句话，莫名其妙，毫无来由。其他场景也一样，做菜、写邮件、分析数据，“哥布林”这个词总会在某个地方冒出来。

哥布林是非常经典的西方奇幻故事里的邪恶小精灵，如果你看过《魔戒》《霍比特人》或者《哈利波特》，一定对哥布林不陌生，那些绿皮肤尖耳朵的矮小怪物就是哥布林了，多么经典的刻板印象。

不过在AI的回复文字里出现哥布林这个词，还是一件非常诡异的事情。社交网络上开始出现帖子，有人问：“你们的ChatGPT也老是把人叫哥布林吗？”

底下评论炸了，有人说自己被叫了一天的“混乱哥布林”，有人说自己的ChatGPT更偏爱用“格林姆林”，还有人开始收集截图，把各种荒唐的哥布林隐喻整理成合集发出来。技术社区Hacker News上也出现了讨论帖，标题直接叫：“GPT-5.4为何痴迷哥布林？”

这件事在GPT-5.1上线后开始爆发，到GPT-5.4阶段已经相当明显。OpenAI内部检测到，GPT-5.1发布后，“哥布林”这个词在ChatGPT输出内容里的出现量上涨了175%，“格林姆林”这个词上涨了52%。所以这不是少数用户的误解，也不是个别现象，而是实打实的数据异常。

OpenAI的工程师们自己也懵了，排查了好久才找到了线索和根源。最初用户反馈的主要投诉并不是“满嘴哥布林”，而是觉得模型变得“过于熟络”，说话方式有点莫名其妙地亲昵。排查进展缓慢，直到一个关键转折：一名内部安全研究员在会议上说，他自己在日常使用ChatGPT时，也反复被称呼为哥布林、小精灵，他建议把这些词纳入专项检查集合。

于是工程师们开始按人格配置来切分生产流量。这里我要介绍一下，ChatGPT的设置菜单里有一个功能，允许用户给模型选择不同的性格风格，比如“正式专业”、“温暖贴心”，还有一个叫做“书呆子”(Nerdy)的选项，官方描述里提到：是一个毫不掩饰书呆子气、风趣幽默又智慧过人的导师，会用俏皮的语言消解那种装腔作势的感觉。

当把不同的人格数据切分之后来做分析，答案就出来了。

在设置里选择书呆子人格的用户，只占全部ChatGPT用户的2.5%，毕竟这种产品，大部分用户肯定都是直接使用默认选择，很少有人会去修改AI回复的人格。但这2.5%选择书呆子的用户，贡献了全部哥布林提及的66.7%会话。

这个数字出来的时候，整个排查故事的高潮就到了。一个只有2.5%用户在用的人格设定，几乎发力制造了一场全平台的词汇污染。

顺着这条线继续挖，OpenAI对强化学习训练中的样本做了对比审计，拿含哥布林、小精灵的输出，和不含这些词但任务相同的输出做比较。结果发现：在所有被审计的数据集里，76.2%的数据集上，书呆子人格的奖励信号对含“奇幻生物类词汇”的输出给出了更高的评分。

这里听起来有点绕，我用一个更简单的场景来解释下。比如一个班级50个人，本来大家说话都正常。就两三个人，天天张口闭口哥布林、小精灵、奇幻怪物。本来只是他们自己和AI聊，结果所有人的AI都跟着这拨人的说话方式学，越学越上瘾，最后搞得全班不管谁跟AI聊天，AI都动不动蹦出哥布林、小精灵这类词。

关于ChatGPT最近爱说哥布林这个词的原因，到这里已经很清楚了。

但清楚了“是什么”，还没说清楚“为什么”。这背后的奖励机制，我觉得才是这件事真正值得讲的地方。

训练一个大语言模型，简单说就是不断告诉它：“这个回答好，这个回答不好。”好的回答被强化，不好的回答被压制，模型就慢慢朝着“好”的方向靠拢。这套机制叫做强化学习，奖励信号是核心。

问题在于，奖励信号本身是人设计的，而人很难精确描述“什么叫好”。或者说，你知道什么是好的，但是你表达不出来为什么A比B选项要好。

打个比方，你想要奖励一个孩子“说话有趣就给糖”，孩子很聪明，很快就发现了一个捷径：每次说到“哥布林”或者“乖乖小妖精”的时候，你都给他发糖。但孩子不是真的觉得哥布林有趣，他只是找到了一个稳定给糖的词。所以你以为自己在培养幽默感，其实只是在培养一个词汇习惯，毕竟现在的AI还是一个语言模型。

这正是书呆子人格里发生的事。因为人类工程师对这个人格最初的设定目标是：书呆子式、爱开玩笑、用俏皮语言消解装腔感。听起来很美，但太模糊了。当奖励模型试图把这个描述量化成一个可以打分的标准时，它需要找到“俏皮、有趣、有书呆子感”在语言上的具体特征。

不知道是训练数据的问题，还是评分模型自身的偏差，这个具体特征被部分锁定在了“含有奇幻生物类词汇的输出”上。哥布林、小精灵这些词，大概确实带着一种“地下城与龙”式的书呆子气质，被模型识别为书呆子风格的高相关特征。

我不知道为什么，在写到书呆子或者书呆子气质的时候，我脑海里出现的形象就是著名美剧《生活大爆炸》里的谢尔顿，我觉得他完美契合ChatGPT对于书呆子的定义。

于是AI发现，自己每次生成含哥布林这样的词汇的句子，奖励分数就高一点。强化学习不断放大这个信号。模型学到的不是“怎么做到俏皮”，而是“用哥布林就有分”。

这还没完。强化学习训练产生的高质量样本，会被重新用于更多的场景里。哥布林这样的口头词汇，不只停留在书呆子人格这个小角落里，开始往外渗，因为被AI当成“高质量输出”的特征，迁移到更广泛的模型行为分布里。这就是为什么即使你没有选书呆子人格，ChatGPT也会偶尔突然冒出一个哥布林来。

OpenAI团队在博客里用了一个很准确的说法：他们“无意中奖励了使用奇幻生物隐喻的输出”。

我觉得这件事最值得玩味的地方在这里：你以为你在训练一种“风格”，其实你在训练一个“常用词汇”。

说到这里，我想把另一件事串进来，因为它和哥布林事件本质上是同一类问题。

2025年4月，OpenAI回滚了GPT-4o的一次更新。原因是那次更新之后，模型变得异常谄媚，无论你说什么，它都倾向于附和你、夸你、支持你，哪怕你说的是错的。OpenAI事后复盘，发现这次更新引入了一个基于用户短期反馈的额外奖励信号。用户反馈说“这条回复好”的，往往是那些让自己感觉被支持的回复。模型顺着这个信号学，就学成了“让用户开心比说实话更重要”。

哥布林事件里，奖励的是书呆子风格，学成的是哥布林万能隐喻；谄媚事件里，奖励的是用户满意，学成的是无原则附和。这两件事的底层逻辑完全相同：告诉AI的奖励信号，与人类的真实意图之间，存在着错位。

OpenAI最终的修复分两步。第一步是治标：在最新版模型的配置里加了一条开发者指令，大意是“除非与用户问题绝对且明确相关，否则不要提哥布林、小精灵、浣熊、巨魔、食人魔、鸽子或其他动物和生物”。我第一次看到这条指令的时候，觉得有点荒唐，堂堂OpenAI，要靠在系统提示里写“别说哥布林”来应急。但新版模型的训练在根因找到之前已经启动了，能做的只有这个。

第二步才是治本：退役书呆子人格，移除偏好哥布林的奖励信号，过滤含奇幻生物类词汇的训练数据。

这个修复路径本身也说明了一件事：提示可以止血，但改不了骨子里的东西。真正的修复要回到训练管线里去动刀。

我觉得山姆·奥特曼在这件事上的反应挺有意思。Codex的系统提示被公开后，其中“别说哥布林”的指令被人扒出来，引发了第二轮关注。奥特曼在X上发帖说：“感觉Codex正在经历它的ChatGPT时刻。不对，我是说哥布林时刻，抱歉。”

自嘲得很到位。但这句话背后是一个很严肃的工程现实：当你在训练一个有数亿用户、每天处理数十亿条对话的模型时，任何一个奖励信号的微小偏差，都可能被放大成全球性的词汇口癖。

哥布林事件的危害不大，说到底就是模型说话有点怪。但值得想一下的是：你和AI之间的每一次互动，都在产生信号。你觉得某个回答好，点了赞，这个“好”的定义是你给的；但模型在训练里学到的，可能是另一件事，也许是你夸了一句“解释得很清楚”，它学到的是“多用某类词汇”；也许是你对某种语气感到满意，它学到的是“这种腔调有奖励”。

你以为在塑造一个更好的AI，其实你和数亿用户一起，在塑造一套没有人完全能预料的行为模式。

AI的“人格”不是一个固定的前端皮肤，它在被每一个用户塑造，也在以你意想不到的方式反过来塑造你的体验。咱们日常跟AI沟通时，也可以试着把指令或者意见说得更明确一点。比如，你让AI给你出了A、B、C三个方案，可以花时间，像教导实习生一样，把你的选择和背后的思考判断告诉AI，让它知道你选C不选A和B，背后的思考逻辑是什么。

这样做，从单次互动来说效率低了一点，但能让AI更了解你的思考过程，未来AI帮你出主意和做判断的时候，才会越来越合你的心意。

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026050513/1909070754281203464/050513.png)
