## 262｜从AI伪造三只羊音频到韩国AI假裸照事件，避免掉入AI技术的陷阱

伙伴们，快刀广播站又开始广播了。

我在广播站里经常介绍很多AI的正面案例，但是最近发生的几件事情，我觉得也需要跟同学们敲一下警钟。一方面不要被AI给骗了，另一方面，更不要把AI用在有风险乃至于触犯法律的地方。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024100218/1855279852647663528/100218.png)

9月26日，合肥公安局发布了一条警情通报，上面说三只羊公司报警，原因是网上传播的一段他们公司卢某某的音视频不实。经过调查，他们逮捕了一个25岁的犯罪嫌疑人王某某，在他的电脑、手机、和制作AI音频的网站中发现了伪造的证据。整个事情是王某某从互联网下载了视频、音频资料，杜撰卢某某酒后的言论脚本，然后使用AI工具训练生成假冒卢某某的音频，也训练出了音频中的女人声音，接着用视频软件合成音视频，并通过网络发布，形成谣言大量传播。目前王某某已经被采取了刑事强制措施。

说实话，我第一次听到这个音频的时候，确实被唬住了，因为里面不但有方言有脏话，也有非常真实的背景声。不管是三只羊还是卢总，我都毫无兴趣，但是当我知道这段是AI语音，除了觉得效果很逼真，我也觉得很可惜。因为这绝不是简简单单地上传一段脚本，就可以生成一段这样的语音这么简单。这个音频从AI语音的生成到最后的剪辑，水平都非常高。那么，有这样水平的一个年轻人，他完全可以在许多中小型公司的新媒体团队、短视频运营团队或MCN公司找到一份不错的工作，而不是选择铤而走险。

无独有偶，这个月还发生了一件事情，事情不大，但是很有代表性。就是有一篇文章火了，核心意思是自己用AI软件做了一批AI美女模特，发到小红书上面，不但没有被官方算法发现是AI生成的，还批量生成了1327个小红书账号，把小红书屠版了。屠版的意思你可以理解为刷屏。

这篇文章在不少AI讨论群里都引起了广泛的传播，但是没有想到，第二天就引来了反转。这个人写了一个保证书，在自己朋友圈置顶了一个星期，核心内容就是他根本没有小红书账号，更没有所谓的在小红书上的爆火，他只是吹牛一下自己做的AI图片。

对，听起来挺不可思议的，除了在群里会被顶礼膜拜叫几声“AI大神”之外，这件事情对他没有任何好处。

AI伪造问题，这不仅仅是我们才会遇到的问题，这个月还爆发了一件在全球范围内影响力都比较大的事情——韩国AI假裸照事件。在海外的一些社交媒体群里，有不少匿名用户发送了一些韩国女孩的色情图片或者视频，其中有教师、军官，甚至还有大学生和中小学生，受害者达到了数百人，其中有许多是未成年人。这些图片都是用AI将身边人的正常图片，改造成色情图片，然后在各个群组里流传。

我看到韩国媒体报道中，有几个数字还是挺让人惊讶的。根据一家个人信息安全公司2023年的调查报告，现在全球发布的AI深度伪造色情视频里，韩国的女歌手或者女演员占到了一半，总数大约有10万条视频。

受害者不仅仅是这些名人，从2021年到2023年，报警的受害者有527位，这个情况还在持续恶化。仅在今年1月到7月的七个月内，类似案件就发生了297起。重点是韩国警方透露，现在抓获的罪犯里，有超过七成是十几岁的青少年。

其中一个典型案例，涉及到韩国首尔大学的两位毕业生，朴某和姜某。首尔大学是韩国最知名的大学之一，在全球大学排行榜上，能排到前40名。中国的大学里只有清华和北大比它的排名高，所以这两个人在社会上绝对属于高材生的范畴。从2021年7月到2024年4月，二人用AI深度伪造技术，合成了大量色情照片和视频，受害女性多达61人，包括12名他俩的校友。其中主犯朴某一个人就制作了1852份换脸色情照片和视频。

这样恶劣的案件并没有发生在我们身边，但是技术的风险同样存在。现在AI的能力越来越强大，掌握的门槛也在一点点的下降。在AI的帮助下，制作一个换脸视频，或者是给视频换个语言、换件衣服，都已经不是难题了。

但是，越是技术简单，我们才要在脑海里绷起一条警戒线。有些事情，技术上能做，不代表法律上或者道德上可以做。

作为咱们学习圈的同学，肯定都对AI特别感兴趣，所以我才更要提醒大家注意。一方面不要被骗，例如那些AI图片或者AI语音，我们应该能识别出来，保护自己和家人不受损失。另一方面，绝不能将学到的AI技术应用于违法或高风险的领域。如果拿不准的话，可以多向专业人士或老师寻求建议。

我希望咱们的同学们，永远不拿AI技术骗人，当然，也不能被别人的AI给骗了。其实，牢记反诈宣传中的那七个字“不听、不信、不转账”，就能避免大部分问题。可以再加一条，就是不要转发那些你没有亲眼看到、亲耳听到的东西，免得为坏人的谣言添砖加瓦。我附上一张我女儿在某个剧院门口拍的“反诈灵魂8问”，与君共勉。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024100218/1855279868753778464/100218.png)

最后说一件咱AI学习圈的事，我们的测评活动已经持续半个多月了，有四百多条深度评价，也杀出来一些在制作PPT和作业辅导等方面的黑马，推荐感兴趣的同学点击文稿区链接去看看。

AI产品好用榜 等你来评分

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

【相关链接】

AI产品体验链接：

https://dedao.feishu.cn/wiki/IjvZw9vxRiarUJkSsheceaOfnAf

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024100218/1855279887007946740/100218.jpeg)
