我们推出了 OpenVoice,这是一种多功能的即时语音克隆方法,只需要参考说话者的一个简短的音频剪辑即可复制他们的声音并生成多种语言的语音。除了复制参考说话者的音色之外,OpenVoice 还可以对语音风格进行精细控制,包括情感、口音、节奏、停顿和语调。OpenVoice还可以针对海量说话人训练集中未包含的语言实现零样本跨语言语音克隆。OpenVoice 的计算效率也很高,其成本比性能较差的商用 API 低数十倍。技术报告和源代码可以在https://arxiv.org/pdf/2312.01479.pdf和https://github.com/myshell-ai/OpenVoice找到
准确的音色克隆
OpenVoice 可以准确克隆参考音色并生成多种语言和口音的语音。
灵活的语音风格控制
OpenVoice 可以对语音风格(例如情感和口音)以及其他风格参数(包括节奏、停顿和语调)进行精细控制。在这里,我们演示了对生成声音的情感和口音的控制。
零样本跨语言语音克隆
参考语音和生成的语音可以是海量说话人多语言数据集之外的任何语言。在下面的例子中,我们使用“U”来表示未见过的语言。