## 478｜网信办出手整治AI技术滥用，这7种风险普通人最容易中招

你好，我是快刀青衣，欢迎收听快刀广播站，每天带你看AI。

今天想跟大家分享一份来自中央网信办的官方通知，核心内容是全国范围内将开展，为期三个月的“清朗·整治AI技术滥用”专项行动。

可能有些同学一听“专项行动”或者“行业监管”，就觉得跟自己关系不大，好像只是在管企业或平台。但如果你去看这次行动的副标题——“整治AI技术滥用”，这里面其实就包含了两个和普通人相关的问题：

第一个是现在AI领域的乱象太多，我们要如何提高警惕，才能不被不法分子所欺骗。第二个是现在AI的技术门槛越来越低，当我们自己在用AI工具做事情的时候，怎么避免一不小心就“踩了红线”。

我仔细阅读了下，这次的专项治理行动，一共分成了两个阶段，第一阶段主要是针对源头治理，第二阶段主要针对内容治理。

在第一阶段的“源头治理”里，官方明确要重点处理六件事。我接下来会一条条跟大家讲，并简单解释每件事的具体含义。

第一件事，就是清理那些违规的AI产品。

这里面包括一些没有按规定备案的大模型，但更严重的，其实是那些完全没有底线的AI应用。比如，有些图像工具提供所谓的**“一键脱衣”功能**，还有些应用能在没有任何授权的情况下，随意克隆他人的人脸或声音。

这类产品的最大风险就在于：你一旦上传了自己的照片或者声音，可能很快就会被AI生成裸照，甚至被拼接进诈骗视频中。

所以这项整治的重点，是要从源头上管住这些带有明显违法风险的AI工具，防止它们继续流通和扩散。

第二件事是传授和售卖违规教程。什么叫违规教程呢？例如教人做AI换脸视频、售卖自动语音克隆器等等，这种教程就很容易让一些技术小白学会之后，跃跃欲试到处练手，一不注意就越过了红线。

要知道前些年有很多的网络攻击案件，并不来源于技术高超的黑客，而是那些刚刚学了点技术，就恨不得马上去试一试的新手，也正因为是新手，往往因为会加速而不会刹车，带来非常大的安全隐患。

第三件事是整治训练数据违规的问题。比如一些AI产品在训练时，会偷偷爬取一些版权内容或者隐私内容，或者用一些假新闻当做训练语料。要知道因为现在有了AI，做很多事情的技术门槛降低了，但是如果不注意的话，就很容易侵犯到一些版权方。

第四件和第五件事情比较类似，都是关于内容安全的，需要让AI生成的内容打上“水印”。因为一些我们一眼就能看出来的AI图片或者视频，但是在更大众的场景里，例如抖音、视频号等地方，就是会有很多用户信以为真。

第六件事情是重点整治两个领域：理财和健康。

这两个方向现在确实是AI内容的重灾区。比如很多AI在做推荐股票和理财内容。我也想让同学们想一想：真要是这些人靠炒股能赚到钱，怎么还会花时间做AI短视频呢？

还有很多AI内容是关于健康养生的，比如做一些所谓的“养生视频”。问题是，这类内容很容易出现AI随便给用药建议的情况，一旦不靠谱，就很可能影响健康。

这上面都是第一阶段要做的事情，大家可以看到，基本上都是从生产者源头来解决问题，区别是有些是技术生产者，有些是内容生产者。

专项治理行动的第二阶段，很多场景就和我们普通人更相关了。因为这里列出了七种非常高发的风险场景。

排在第一的是AI造谣，第二是AI不实信息。我把这两条放在一起说，是因为它们其实差别很小，很多时候，不实信息一旦传播开来，就很容易演变成造谣。

如果大家还有印象，我之前提到过一张流传很广的AI造假图片，是一个满脸灰尘的小男孩被压在废墟下的画面，这就是典型的用AI图片造谣。

所以大家一方面要学会辨别网上的信息，不要轻易被不法分子利用；另一方面，现在AI作图能力这么强，我们自己生成的图片，也要说清楚是AI生成的。

不然你可能只是想在朋友圈炫耀一下自己的AI设计水平，但别人一看，还真以为哪里发生了火山爆发或者海啸了。

不实信息就更多了。比如最近就有短视频拿2008年左右北大医学院的招生名单出来炒作，但字里行间却有意回避这已经是快20年前的事了。

我记得这事当年爆出来后，其实早就被调查、处理过了。可要是不说明时间背景，很多人一看就会误以为是最近发生的事，情绪一下子就被带偏了。

排在第三的高风险场景是AI色情。因为现在AI技术的门槛越来越低，就有不少人利用别人的照片去制作淫秽内容，甚至是软色情漫画。

最典型的案例发生在去年韩国。当时有两个首尔大学的学生，利用AI技术换脸合成色情照片和视频，受害女性达到了61人。有调查显示，早在2014年，韩国就有781人因AI换脸受害而在线求助，其中 四成是未成年人，波及的学校超过200所。

到了2024年9月，韩国通过了一项新法案，只要拥有或观看这类AI换脸的图像或视频，就构成犯罪，会面临监禁和高额罚款。如果是有意传播或制作这类内容的人，最高可能判刑7年。

还有一个高风险场景是用AI假冒他人，这类诈骗越来越常见，比如直接克隆领导、明星，甚至亲友的声音来骗钱。

像在2024年2月，就有一家英国跨国企业的香港分公司，被骗子用AI换脸视频假扮总公司CFO，结果被骗走了2亿港币。

而这种手法也不只是针对大公司，普通人也可能中招。比如就在上个月，香港警方展开了为期10天的反诈骗行动，在荃湾破获了一个诈骗中心，拘捕了7男4女。

这个团伙用AI换脸伪装成年轻女性，通过聊天获取信任，再以“零风险赚快钱”为诱饵，让受害人在虚拟电商平台上开网店。接着通过虚假流量和订单，一步步把人骗进圈套。等对方想提现时才发现本金都拿不回来了。警方估计，这个小团队每周能骗到上百万元。

今天跟大家分享这个信息，也是希望AI的能力能用在一些真正产生价值的地方，而不是给一些骗子当“帮凶”。

最后给同学们几个AI时代的小提醒，第一，对不熟悉的AI产品或者是AI新产品，不要随便上传自己的隐私信息，特别是高清正面照或者是带有原声的视频，减少被人恶意克隆的风险。

第二条，如果遇到“领导”或者“亲友”视频通话让你转账、借钱，千万不要立刻相信。可以选择挂断后再回拨电话核实，或者找对方身边的人确认。总之，不要慌张，别给骗子留机会。

第三条，面对那种让你“震惊”的大新闻，或者那种过于好看、过于离谱、过于煽情的内容，要保持基本的判断力。

先看看消息来自哪个网站，是不是可靠；再看看有没有官方或主流媒体同步报道。毕竟在这个时代，真正的大新闻不太可能只被一个账号发现。

最后，在你还没确认真假之前，不要轻易转发，更不要急着表态站队，不然很可能就会被利用，成为谣言传播链上的一环。

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

相关链接：

https://mp.weixin.qq.com/s/U5B0bonVW7xy4ifMmVM6Og

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025050722/1875426330904940084/050722.jpeg)
