继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

ElevenLabs vs 自托管TTS:谁更胜一筹?

杨魅力
关注TA
已关注
手记 368
粉丝 57
获赞 262

这图片来自于murf.ai的图片,来自murf.ai

TTS这个技术已经存在了一段时间了。但直到最近,TTS的质量和准确性才变得和真人说话非常接近。ElevenLabs因为能非常准确地模仿流行人物的声音而变得非常有名。在这篇文章中,我们将对比ElevenLabs和两个流行的自托管TTS程序Applio和Alltalk。

⚠️警告⚠️:本文中我引用的示例书籍《了不起的盖茨比》包含性别偏见、种族歧视、家暴及其他有争议的话题。我并不支持或赞同其中任何观点,只是因为这是我在藏书中唯一一本进入公共领域的书籍而选择了它。

我将用我的配备RTX 4060和8GB VRAM的笔记本电脑来运行自托管的TTS应用程序。

ElevenLabs声音合成

ElevenLabs 标志

我们将从ElevenLabs开始定下高标准。设置方面,我只需要注册账号。注册账号后,我获得了一万字符的试用额度,试用了一番后,我选定了Rachel音色,稳定性50%,相似度75%,夸张风格20%,没有开启说话者增强。

没有足够的积分来处理整本书的内容,所以我只处理了第一章的一部分(大约5000个字)。处理速度很快,大约5到7秒之间,声音听起来像是用中档麦克风录的。

ElevenLabs-The-Great-Gatsby.mp3drive.google.com

链接:https://drive.google.com/file/d/1CApply4JmNa4nCn8lP60a36aykZcQa1b/view?usp=sharing&source=post_page-----2990e517f829--------------------------------

Applio - 这是一个关于Applio的链接,你可以在这里找到更多信息。

Applio标志

尽管在这篇文章中我们只是将其用于文本转语音,Applio 实际上还有很多其他功能。它还支持变声音频,预录的音频,并能用新声音来训练模型。

Applio的安装花费了更长的时间,因为它需要本地运行才能正常工作。运行安装脚本后,启动需要30秒左右,然后在我的浏览器中打开了网页界面。我需要下载一个模型才能开始使用TTS。在Applio网站上选择了一个预训练的模型后,下载模型就像在界面上输入链接那样简单。在TTS页面上,我有两个声音选择:一个是新下载的RVC模型,另一个是基础TTS声音。我认为Applio的做法是先用基础TTS生成语音,再用RVC模型改进音质。

然后我花了大约30分钟调整高级设置,直到我满意为止。然而,当我尝试让它处理《了不起的盖茨比》时,程序崩溃了。为了解决这个问题,我不得不将文本拆分成大约15000字符的块来处理。

Applio 大约花了 1798 秒处理所有的片段(总共约 260000 个字符)。差不多等于半小时。音质一般般,就像用笔记本电脑自带的麦克风录的一样。

Applio-The-Great-Gatsby.wav https://drive.google.com/file/d/152KaaviDi4PIBwQvGiXQWnLqjR_VXc7G/view?usp=sharing&source=post_page-----2990e517f829-------------------------------- Alltalk(一个开源的语音合成工具)

Alltalk标志

Alltalk的设置与Applio类似。我运行了脚本,等待一会儿后,一个网页界面打开了。Alltalk设计为API形式,而不是独立应用程序,并且提供了与Text Generation WebUI集成的选项,以便用户可以更方便地使用。网页界面不仅用于更改设置,还包含一个用于测试的部分。我启用了deepspeed并关闭了low vram,这样可以让它发挥最大的优势。

Alltalk 处理文本耗时 5719 秒,相当于大约 95 分钟。还好应用自动将书分成了多个部分,这样就避免了内存不足的问题。音频质量明显比其他应用差,听起来就像是用廉价耳机自带麦克风录制的。这可能是因为Alltalk目前没有RVC支持,但第二版将会加入此项功能

Alltalk-The-Great-Gatsby.wav 点击链接查看《了不起的盖茨比》的音频文件。 最后

自那些早期的机械式屏幕阅读器以来,TTS程序已经有了很大的进步。如果你需要为一个离线项目使用TTS,或者不想支付云端解决方案,我推荐使用Applio,它的质量相当不错。否则,当谈到真实性和速度时,Elevenlabs依然是最棒的选择。

打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP