欢迎来到趣幕下载,找软件、下软件,就上 qoom.cn!
首页 > 媒体工具 > 音频转换器
更新时间:2026-11-16
小米OmniVoice声音克隆工具 0.1.4

小米OmniVoice声音克隆工具 0.1.4

音频转换器 WinAll中文免费软件
大小:7.42G 更新:2026-11-16 语言:中文 平台:WinAll 授权:免费软件
↓ 立即下载 下载地址在页面底部 ☆ 加入收藏 已有 人浏览 · 次下载

软件信息

大小7.42G
语言中文
平台WinAll
更新2026-04-13 17:24
等级--
类型音频转换器
授权免费软件
厂商--
产地国产软件
网站--

软件介绍

近两年AI技术已经深入各个行业,音频方向的变化尤为明显,声音克隆工具成了音乐制作和短视频配音的常备利器。市面上同类产品很多,这次给大家介绍一款小米自研的,实际测试表现很出色!

小米OmniVoice声音克隆工具

OmniVoice简介

OmniVoice是一个大规模的多语言零样本文本转语音(TTS)系统,可处理600余种语言。它采用创新的扩散语言模型结构,产出高音质语音,推理速度快,并具备语音克隆与语音定制能力。

OmniVoice核心特性

涵盖600多种语言:在零样本TTS模型中语言覆盖范围最广(完整列表可查)。

语音克隆:克隆质量达到业界领先水平。

语音设计:依据设定的说话人特征(例如性别、年龄、音调、地方口音、轻声等)来调节语音。

精细控制:可插入非语言符号(比如[laughter]),并支持用拼音或音素纠正发音。

推理迅速:RTF最低可达0.025(相当于比实时快40倍)。

扩散语言模型式架构:设计简洁、轻量且易扩展,在质量和速度之间取得平衡。

OmniVoice使用方式

安装部署:用户可以使用pip指令,或者从GitHub获取源代码,运行安装命令来部署OmniVoice。

快速试用:无需编程,用户可以启动本地 Web 服务或打开 HuggingFace 在线 Demo 来直接感受 OmniVoice 的语音合成表现。

语音复制:开发人员能够借助 Python API 调用已训练好的模型,只需给定参考录音和对应文本,即可完成零样本的语音复制。

音色设计:可以用日常语言设定发音人的性别、年龄、音调、口音等特征,从而直接生成想要的音色。

命令行工具:使用者可以通过命令行程序执行单条语音合成,也能在多块 GPU 上开展批量推理工作。

用户能在合成内容里加入专门的记号,以补充笑声、叹气等辅助语言表现;也可以借助拼音或音素标注来修正多音字和特定名称的读音。

OmniVoice关键信息与使用要求

技术定位:OmniVoice由小米AI实验室发布,以扩散语言模型为基础,属于非自回归的TTS方案。其架构采用简化的双向Transformer,能够直接将文本转化成多码本的声学token,省去了传统的级联流程。该系统可对超过600种语言进行零样本的语音克隆与生成。

该模型包含0.8B参数,以Qwen3-0.6B为初始基础,利用58.1万小时的开源语音资料进行训练,涵盖646种语言。其推理效率为RTF0.025,相当于40倍实时速度。在中文、英文以及多语言评估中,说话人相似度和语音清晰度均取得当前最优成绩。

该工具的能力范围包括:使用3到10秒的参考音频进行零样本声音复刻(可处理带噪声或混响的素材并降噪)、依据性别、年龄、音高、方言、口音等特征定制音色,还能借助标签与拼音/音素完成副语言调整和读音修正。

运行模型推理的硬件要求:需配备支持CUDA的NVIDIA GPU(建议使用H800或H20以获得最佳性能),或采用支持MPS的Apple Silicon设备。

软件运行要求:须在Python虚拟环境里配置PyTorch(与CUDA版本对应),再经由pip或源码方式安装omnivoice包以满足依赖条件。

OmniVoice的主要优点

模型结构非常精简且运行效率高:使用单步非自回归扩散语言模型设计,通过一个双向Transformer将文本直接转换为多码本声学token,省去了传统多级流水线中的错误传递和信息限制,同时实现了结构简单和性能大幅提升。

语言支持范围最大:采用58.1万小时的开源数据完成训练,能够进行超过600种语言的零样本语音生成,在数据较少的冷门语种上依然有很低的字错误率,是当前语种覆盖最全面的TTS模型。

推理速度极快:依靠全码本随机masking策略与高效架构设计,RTF可低至0.025,相当于40倍实时速度,远快于自回归模型。

在音质和可懂度上达到当前最优:采用预训练语言模型中的知识来初始化,通过继承这部分先验,在LibriSpeech-PC、Seed-TTS等测试集里,说话人相似度指标(SIM-o)和词错误率(WER)均优于已有的非自回归方法以及商业产品。

该模型具备多个维度上的可控功能:包含零样本条件下复制目标声音、依据属性要求设计声音特质、去除录音中的背景噪声、加入笑声或叹息等副语言符号,以及按拼音或音素进行精确的读音修正,能够应对复杂应用里对细微调控的需要。

更新日志

本次更新了哪些内容?

改正内容:第72行里,infer_batch所包含的@Pastells指令。

可借由下述方法把 omnivoice-server 纳入社区项目 @maemreyo 第 42 号。

修正了 batch_inference 在未提供 ref_text 及 ref_audio_path 参数时的问题,对应 Pastells 第70号。

让 omnivoice-server 重新兼容社区项目(在强制更新之后),由 @maemreyo 提交的第 80 号变更。

改进 infer_batch.py,使其能够处理混合模式,提交编号为 58cf379。

请改用 soundfile 和 librosa 来替代 torchaudio,这样能防止在部分设备上发生问题,编号 f4b0cc。

请将文本31b8a4d里的中文括号替换成英文括号。

已在 README8ede7ac 文件中补充更多说明提示。

新增了 Google Colab 的演示代码,标识为 9361466。

下载地址

建议优先使用「本地下载地址」;如遇链接失效,请选择网盘地址。解压密码一般为 www.qoom.cn。
百度网盘 7.42GB · 提取码 uzzf
下载
上一篇:暂无
下一篇:暂无
↑