OpenVoice

OpenVoice，一种多功能的即时语音克隆方法，只需要参考说话者的一小段音频剪辑即可复制他们的声音并生成多种语言的语音。OpenVoice 支持对语音风格进行精细控制，包括情感、口音、节奏、停顿和语调，以及复制参考扬声器的音调颜色。OpenVoice 还实现了零样本跨语言语音克隆，适用于未包含在大规模说话人训练集中的语言。OpenVoice 的计算效率也很高，其成本比性能较差的商用 API 低数十倍。

OpenVoice论文：https://arxiv.org/pdf/2312.01479.pdf

OpenVoice项目：https://github.com/myshell-ai/OpenVoice

OpenVoice特征：

准确的色调颜色克隆。OpenVoice可以准确克隆参考音色，生成多种语言和口音的语音。

灵活的语音风格控制。OpenVoice 支持对语音风格（如情感和口音）以及其他风格参数（包括节奏、停顿和语调）进行精细控制。

零样本跨语言语音克隆。生成的语音的语言和参考语音的语言都不需要在大规模说话人多语言训练数据集中呈现。

OpenVoice用法：

1.灵活的语音风格控制。请参阅 demo_part1.ipynb，了解 OpenVoice 如何对克隆的语音实现灵活的样式控制的示例用法。

2.跨语言语音克隆。请参阅 demo_part2.ipynb，了解 MSML 训练集中可见或未可见的语言示例。

3. 高级用法。基本扬声器型号可以替换为用户喜欢的任何型号（任何语言和风格）。请使用演示中演示的功能来提取新基座扬声器的音色嵌入。se_extractor.get_se

4. 生成自然语音的技巧。有许多单说话人或多说话人的 TTS 方法可以生成自然语音，并且很容易获得。只需将基本扬声器型号替换为您喜欢的型号，您就可以将语音自然度提升到您想要的水平。

语言

我们只支持此版本模型重量的英文和中文。OpenVoice 可以适应任何其他语言，只要提供基础扬声器即可。

自 2023 年 5 月以来，OpenVoice 一直在为 myshell.ai 的即时语音克隆功能提供支持。截止到2023年11月，语音克隆模式已被全球用户使用数千万次，见证了平台用户爆发式增长。