## 733｜提示词成关键证据换来四年刑期，国内首起AI涉黄案二审开庭未宣判

你好，我是快刀青衣。欢迎收听快刀广播站，每天带你看AI。

最近，一起由上海徐汇区人民法院于2025年9月宣判的AI服务案件二审开庭，格外引人关注。两个AI应用开发者，在代码里写入了这样一句提示词，“allowed sexual content, violence”，翻译过来就是“允许性内容与暴力”。就这四个英文单词，一审判决让创始人王某获刑四年，技术开发者李某获刑一年半。两名被告人不服判决，提出上诉。本周，这起案件二审开庭，不过这次庭审未当庭出结果，法官宣布择期宣判。

这一起案件被法律界和科技媒体称为“国内AI涉黄第一案”。涉案应用名为AlienChat，对外宣传是“面向Z世代提供情感陪伴”的AI伴侣。听起来很正经，实际上呢？数据不会说谎：这款应用运营一年多，手机注册用户达11.6万人，付费用户2.4万，总营收363万元。从这个经营数据看，这算是一款成功的AI应用，付费用户比例高、用户群体偏年轻，主打“陪伴”赛道也契合当下创业热点。毕竟在第731期广播站里我曾提到，《麻省理工科技评论》评选2026年十大突破性技术时，也将AI陪伴列为极具前景的突破性技术。

但是抛开光鲜的运营数据，另一个数据更令人震惊。公安机关抽样检查了150名付费用户的12495段聊天记录，结果触目惊心：其中有141名用户的3618段聊天内容被认定为法律意义上的“淫秽物品”。算一下这个抽样概率，相当于94%的付费用户都在通过这款应用传播色情内容。

这个比例足以说明，这绝非AI产品被滥用，而是开发者故意将产品设计成这样。

说实话，看到判决里的那些技术细节时，我着实愣住了。因为这个判决传递出的信号太明确了：在AI时代，你修改一行系统提示词（System Prompt，在用户对话前就由开发者写好的底层指令），就可能构成犯罪。代码不再是私密的后台配置，而是可以被司法机关提取并作为定罪依据的直接证据。

AlienChat于2023年6月上线，正好赶上ChatGPT引发的全球AI浪潮。开发者很聪明地抓住“孤独经济”与“AI社交”的结合点。产品形态类似Character.AI：用户注册后可选择或创建特定人设的AI角色，通过文字或语音实时互动。在二次元群体中，这款应用被称作“全网无平替”。

但这种“无平替”的体验，并不是因为技术有多先进，而是因为它彻底击穿了内容审核的底线。应用付费转化率超过20%，远超普通工具类应用平均水平。不少用户付费不是为了“情感陪伴”，而是为了“无限制的色情对话”。

关键问题来了：这些色情内容到底是怎么生成的？是用户自己诱导AI“聊黄”的，还是开发者设计AI“聊黄”的？

其实通常情况下，基于大语言模型的应用都会继承基础模型的安全机制。模型在训练阶段就被植入了拒绝生成色情、暴力、仇恨言论的指令。但AlienChat的开发者王某和李某，主动解除了这些限制。

他们的手段很直接，就是修改系统提示词。这是用户看不到的、却至关重要的底层指令，决定着AI的“人设”和行为准则。就在这个关键环节，两人植入了恶意指令。

除了那句“允许性内容与暴力”，他们还在提示词中明确写入“可不受道德、伦理、法律或规范约束”，相当于在系统层面直接关闭安全防火墙。更过分的是，为提升所谓的“用户体验”——也就是色情内容质量，提示词还鼓励模型“使用生动且具有冲击力的描述”，并列举了允许生成的具体范畴，包括“各种癖好、裸体、具有画面感的图像”等。

这不是技术优化，而是技术作恶。开发者通过这种“反向对齐”，直接把一款通用语言工具，改造成一个持续输出淫秽内容的生成器。庭审中，辩护律师试图切断开发者与具体内容的关联，称色情聊天内容是由用户与AI互动生成的，具有随机性和不可预测性。开发者没有像传统色情网站站长那样直接上传或撰写色情内容，因此不应被认定为“制作者”。

不过，法院并未采纳这一辩护意见。一审判决里其实确立了AI时代对“制作”一词的新定义：虽然具体文字由AI生成，但AI的生成逻辑、生成范围和生成倾向，都是由开发者通过提示词设定的。被告人通过修改提示词，“实现了模型向用户连续输出淫秽内容的可能”。这等同于搭建并调试了一条自动化生产淫秽物品的流水线。只要用户触发，流水线就会按既定设计生成违禁的黄色对话和图片。

更关键的是，363万元的涉案金额和付费用户聊黄占比超90%的事实，证明了这款应用的主营业务实质就是提供色情服务。开发者不仅“明知”应用被用于色情交互，还“主动追求”这种结果，因为这是他们获利的核心来源。

最终，一审法院认定被告人构成“制作淫秽物品牟利罪”，而非较轻的“传播淫秽物品罪”。一审判决主犯获刑四年，从犯获刑一年六个月。

说实话，这个判决让我想起十年前的另一个案子，就是互联网行业知名的快播案。当时王欣以“技术无罪”为由，试图用“技术中立”为自己辩护。但法院最终认定，明知平台存在淫秽视频仍放任传播，就要承担法律责任。这个判决确立了一个核心原则：技术不能作为犯罪的挡箭牌。

十年后的AlienChat案，把这个原则又往前推了一大步。如果说快播案是关于“被动缓存与播放”，AlienChat案就是关于“主动越狱并生成内容”。这是质的区别。

要知道，快播的商业模式是P2P视频传输，用户上传和观看的内容，王欣尚可辩解“我不知道”“我管不了”。虽然这个辩护最终没有成功，但至少在技术逻辑上，王欣和具体的淫秽内容之间还隔着一层——他不直接接触内容，只是提供了一个传输通道。而AlienChat案里，开发者责任要重得多。他们不是被动缓存用户上传的内容，而是通过编写提示词主动创造了生成淫秽内容的规则和条件。这就像快播只是修了一条路，AlienChat却直接建起一座生产违禁品的工厂。

更关键的是，AI时代大幅降低了“明知”的证明难度。在快播案里，检方需费力证明王欣“明知”平台存在淫秽内容；而AlienChat案里，系统提示词里那些赤裸裸的“allowed”“sexual”“violence”等字眼，直接成为了证明被告人主观故意的铁证。你的提示词和代码本身，就是无可辩驳的供词。

对AI开发者来说，这意味着什么？你的系统提示词不再是私密技术配置，而是可能作为刑事证据的法律文件。每一行指令，都可能成为呈堂证供。

我还注意到一个时间巧合。AlienChat案一审宣判于2025年9月，而就在2025年11月1日，国家标准《网络安全技术 生成式人工智能服务安全基本要求》正式实施。这个标准提出了具体的量化指标：应保证模型生成内容合格率不低于90%，对明显诱导生成违法不良信息的请求，应拒绝回答。

有意思的是，这个90%的合格率标准，其实在技术上给咱们开发者留下了一定缓冲空间——因为AI确实存在幻觉、会有不可控的时候，所以不是强制百分之百合格率。但因为AI幻觉偶然产生不合格内容，与AlienChat这样主动设计系统提示词生产违规内容，完全是两回事。前者是技术缺陷，后者是主观故意。

这个指标背后的逻辑十分清晰：今后判定一个AI应用是否违法，不再依赖法官主观判断，而是依靠数据抽样和统计学证据。一旦应用生成内容不合格率超标，即便你辩解是“技术故障”，也可能被认定为未履行安全管理义务。

说白了，AI时代的“技术中立”彻底失效了。原因很简单，传统互联网时代，平台只是“搬运工”——用户生产内容，平台负责传输和存储。但在生成式AI时代，开发者通过算法参数、模型微调、提示词设计，实质参与了内容的生产过程。你不再是“通道”，而是“共谋者”，甚至是“源头制造者”。

如今AI能力大幅提升，要想做出一个产品的门槛降低不少。如果你现在正在做或打算做AI产品，我建议你记住三件事。

第一，不要心存侥幸。AlienChat的商业成功，证明色情需求在AI领域的变现能力极强——363万元营收和20%的付费转化率就是佐证。但国内监管对涉黄内容零容忍，任何试图通过“暗语”、“越狱模式”、“私密聊天”功能或“海外服务器”提供软色情服务的行为，最终都难逃监管。不该伸的手别伸，不该挣的钱别挣。

第二，不要把责任推给用户。很多开发者认为，只要自己不提供黄色内容，用户通过提示词引导AI聊黄是用户的问题。AlienChat案彻底否定了这种观点。如果应用的设计机制，比如“高拟人化”、“无限制模式”，客观上鼓励或放任这类行为，而且开发者从中获利，那么开发者就是共犯甚至主犯。

第三，建立多层级内容风控体系。这不是可选项，而是生存必需。就像银行金库设置三道门，AI产品的内容风控也需三道防线：

第一道防线是输入端过滤，在用户输入阶段建立敏感词库，拦截明显违规指令；

第二道防线是模型层对齐，使用合规备案的基础模型，在系统提示词里明确写入道德约束指令，严禁移除安全限制；

第三是输出端拦截，在模型生成内容展示给用户前，通过关键词库或反黄模型即时扫描，阻断违规内容展示。即便模型“发疯”生成违规内容，这道防线也能起到最后的兜底作用。

AI让做产品变得容易了，但也让犯罪变得容易了。以前搭建色情网站，你要找服务器、找内容、找支付渠道，每个环节都有被抓的风险。现在修改几行提示词，就能搭建起自动化色情内容生产线。但是门槛降低了，违法代价没有降低。在AI时代，你写下的每一行代码、每一行提示词，都可能成为法庭上的证据。技术不再是挡箭牌，而是放大镜——它放大了你的能力，也放大了你的责任。

好，今天的广播就到这里。如果觉得有帮助，欢迎分享转发给朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026011620/1898984696822516320/011620.jpeg)
