## 171｜体验号称碾压GPT-4o的语音模型Moshi，两款国产语音项目效果更惊艳

伙伴们，快刀广播站又开始广播了。

本周三，法国的独立AI研究实验室Kyutai，在巴黎公开演示了一款实时语音AI模型——Moshi。虽然是实验性原型，但是从发布会演示视频来看，对于一个成立不到一年的小型研究团队，第一个版本的效果已经相当惊艳了。Moshi号称是全球首款大家都可以使用的实时生成式语音AI。

大家第一次听到这个消息时，可能会觉得非常奇怪，啥叫“全球首款”，啥叫“大家都可以使用”，啥叫“实时生成式语音”？

其实这些定语，都是在冲着OpenAI的GPT-4o语音模型喊话。“全球首款”是因为GPT-4o已经连续几次推迟自己语音模型的上线时间了。尽管他们发布会上的效果非常惊人，成功吸引了全球的注意力，但却在交付时间上一直跳票。所以这家法国团队，才敢说自己是全球首款。至于“大家都可以使用”，是因为GPT-4o优先提供给Plus订阅用户，做不到大家都可以使用。最后是“实时生成式”，这个就更容易理解了，你可以当做和人类说话，能随时打断，并且能跟着你那跳跃式的话题随时切换。

发布会上，他们把自己形容得很牛，现场演示时英文对话效果也还可以。但是之后，我在一些公众号上看到，某些人把这个模型吹捧上了天，甚至喊出“将GPT-4o按在地上摩擦”，认为这个开源模型一出来，GPT-4o就失去了竞争力。

我赶紧去测试了一下，在这里先跟同学们分享我的三点感受。

首先，说效果可以秒杀GPT-4o的，肯定是无良标题党。Moshi的对话效果甚至连GPT-4都不如，比如在语言上，只有英文模式，中文等语言都无法识别。并且哪怕是英文模式，都有非常强的机械感。虽然我的驻马店英文很烂，但是在和GPT-4语音沟通的时候，它连猜带蒙的基本都能知道我说了啥。但是这个新出的Moshi，基本无法识别出我说了什么。

第二点，也是这个模型最大的特点，就是快。我测试时与它进行了一段2分钟的对话，他们把整个音频数据放在了对话框旁边。在这2分钟内，最小的延迟是10毫秒，最大也不过90毫秒。这代表什么呢？就是在100毫秒内的网络抖动下，你连玩《王者荣耀》这种非常要求实时性的游戏，都不会有明显的感觉。当然，我不知道是不是他们故意炫技，在对话过程中，很多次我话都还没说完，AI就已经开始哇啦哇啦地自己说话了，像机关枪一样实时输出。聊几轮下来，你的语速就会被拉得很高，否则绝对跟不上AI的反应速度。

第三点感受，就是这个模型的语音语调上，虽然有一点点的机械感，但在说不同内容时，明显带有不少的情绪变换。我查看了他们之前的一些研究介绍，发现他们在训练语料中，使用了约10万份带有情感和风格标注的对话。怪不得在对话时，AI用一种略带傲慢的口气对我说：“我已经31岁了，我比你有更多的经验和知识。”然后我说，我快43岁了，它居然马上换了一个话题，再也不提年龄和知识含量了。如果你对这个感兴趣的话，我把链接放在文稿最后了，你可以试一下。

当然，抛开这几点感受，对一个2023年11月刚刚成立的研究团队来说，他们只用了6个月时间，就拿出了这么一个反应快速的实时语音模型，已经非常优秀了。只不过完全没有必要拿它去对标GPT-4，这会显得拔苗助长。我可以跟大家介绍一下这个研究团队，他们团队位于法国巴黎，团队目前只有八个人，是欧洲首个独立的人工智能开放研究实验室。

为什么叫独立的呢？因为这是由私人资助的，并不隶属于哪家大型科技公司。资助人是法国电信巨头泽维尔·尼尔，他个人就资助了3亿欧元，你完全可以期待这个小而精干的研究团队接下来的一系列动作。

今年因为大模型的发展，多模态的能力成为了AI的重点方向，特别是实时语音能力。这方面咱们国内的很多AI厂商都在玩命研究，也有了不少进展。

这里我给大家介绍两个最近特别受关注的文字转语音AI项目，效果都比较惊艳。

第一个叫ChatTTs，这是一个开源项目，专门针对对话场景涉及的语音生成模型，使用了差不多10万小时的中英文数据进行训练，合成后的语音质量很高，并且里面还有自动生成的语音停顿。我下面给大家放一句示例。

第二个项目叫Seed-TTS，这个是字节跳动火山引擎语音团队的成果，相比上一个开源项目，各种功能更加强大。例如跨语言复制音色的效果非常炸裂，就类似让郭德纲说葡萄牙语。另外，同样的一个音色，可以根据语义生成各种不同的情绪。我放上一句话大家听听。

最后说回咱们AI学习圈的语音，也有用户在反馈AI语音可以进一步迭代。我们也在关注新技术和实际效果，内部也在尝试将我本人的音色AI化。对AI来说，训练一个带有豫南小镇口音的普通话版本，难度有点超纲了。不过接下来，如果语音训练效果还可以的话，会拿上来给大家试试。当然了，如果到时觉得AI口音奇怪、发音不准确的话，可能不怪AI，怪我这个原始数据源的数据质量不是太好。

好，今天的快刀广播站就到这里了。如果你觉得今天的内容对你有帮助，欢迎分享到朋友圈或者转发给你的朋友们。明天咱们接着聊AI。

【相关链接】

Moshi 语音模型体验

https://us.moshi.chat/?queue_id=talktomoshi

ChatTTS

https://chattts.com/

Seed-TTS 项目网站

https://bytedancespeech.github.io/seedtts_tech_report/

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024070417/1846928191030079948/070417.jpeg)
