VoiceStudio:把配音棚装进自己电脑

用云端 TTS 做配音,流程通常是这样:文本发过去、按字符计费、音频传回来,中间还要担心素材落在别人服务器上。要做几十条批量音频,或者给一段视频配多语言音轨,成本和等待时间都会往上堆。

VoiceStudio 想解决的就是这部分。它是一款跑在本机的声音工作台:克隆音色、按文字描述生成音色、给视频配音、听写转录、批量生成有声书,全部在本地推理,不依赖厂商的云服务。项目在 GitHub 上约 9.7 万 star,采用 AGPL-3.0 许可证,主仓库是 Python + Electron。

它到底提供哪些能力

能力 说明
声音克隆 给一段干净参考音,之后用这个音色念任意文本
声音设计 用文字描述(性别、口音、语气)直接生成一个不存在的音色
视频配音 转写原视频、翻译、再用克隆音色重新配音并对齐时间轴
听写与转录 悬浮听写组件,本地语音转文字
旁白与批量 有声书、长文,以及可排队的批量任务
集成 本地 HTTP API、MCP、可复用的 recipe、监听文件夹自动处理

项目自述覆盖 646 种语言,不过实际语种质量取决于你在模型管理器里选的引擎,不是每个引擎都覆盖全部语种。

真正的差异点在引擎。VoiceStudio 自己只是外壳,模型是可插拔的:默认引擎是 k2-fsa 的 OmniVoice,模型管理器里还能挂上 VoxCPM2、IndexTTS 2.5(带情绪控制)、CosyVoice 3、GPT-SoVITS、MOSS-TTS、KittenTTS、MLX-Audio 等一批 TTS 引擎,以及 WhisperX、faster-whisper、MLX Whisper、Parakeet、FunASR、whisper.cpp 等 ASR 引擎。换引擎的方式基本是「装依赖 + 在模型目录里选中」,不同引擎的能力差异很大,官方给每个引擎都写了单独一页文档说明硬件要求和已知问题。

部署:四条路,选一条就够

1. 安装脚本(最省事)

macOS / Linux:

1
curl -fsSL https://voicestudio.sh/install | sh

Windows(PowerShell):

1
irm https://voicestudio.sh/install.ps1 | iex

脚本会自动识别平台、下载对应安装包并校验,然后拉起安装向导。也可以直接去 Releases 下 .dmg / .exe / .AppImage / .deb 手动安装。装完首次启动时,App 会自己拉起 Python 环境、FFmpeg 和模型权重,不需要你提前配置工具链。

2. Docker

官方镜像在 GHCR:ghcr.io/debpalash/voicestudio,支持 NVIDIA CUDA 和 AMD ROCm。适合放到带显卡的服务器或 NAS 上,本机只当客户端用。

3. 源码运行

1
2
3
git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun run dev

bun run dev 会装好 JS 依赖,并在使用本地后端时顺带装 Python 依赖。只想重建 Python 环境跑 bun run setup:api。

4. 交给 agent 装

仓库给 Claude Code / Codex / Cursor 这类工具准备了安装说明,把下面这行贴进去,让它读文档自己装并自检:

1
2
Install the VoiceStudio app on this device and verify it works, following
https://github.com/debpalash/VoiceStudio/blob/main/docs/install/agent.md

硬件前提,别忽略

平台 状态 加速
macOS 13.3+(Apple Silicon) 稳定 Metal / MPS
Windows 10/11 x64 稳定 NVIDIA CUDA、AMD ROCm(可选)、CPU
Windows on ARM 实验性 可退回 x64 模拟运行
Linux x64 稳定 NVIDIA CUDA、CPU
Docker 稳定 NVIDIA CUDA、AMD ROCm

几件事值得提前知道:

  • 磁盘至少留 10 GB。这是 App 本身加默认环境加默认模型,后续每个引擎环境还能单独吃掉几个 GB,装在 Windows 的 C: 盘很容易撑爆。可以用环境变量把引擎目录挪走:
1
[Environment]::SetEnvironmentVariable('OMNIVOICE_ENGINES_DIR', 'D:\VoiceStudio\engines', 'User')
  • 没显卡能跑,但慢。CPU 推理和 GPU 差一个数量级,官方文档直接写了「10-50 倍」这种量级的差距。
  • Windows 上的 PyTorch 引擎只认 NVIDIA。AMD 卡在 PyTorch 引擎上会悄悄回落到 CPU,只有 audio.cpp 这类原生运行时能借 Vulkan 用上 Radeon。
  • Intel Mac 只支持界面,本地后端装不上(PyTorch 早已停止提供 macOS x86_64 的轮子),这类机器只能把界面连到另一台机器的后端。

上手:克隆一个声音要几步

  1. 打开 Voice cloning 工作区,挑一个内置示例音色,或者新建一个声音。
  2. 上传/录制参考音。推荐 5–15 秒干净人声,界面最多接受 75 秒;默认引擎只会取前 20 秒里语音最密集的一段。
  3. 填参考音的文本转写(Transcript)。这一步很关键:留空的话,App 每次生成都会先跑一遍语音识别,速度会明显变慢。
  4. 输入要朗读的正文,生成。第一次会提示下载模型,体积不小,网络受限的话可以在设置里填一个 Hugging Face token 提速。
  5. 满意后导出音频,或者在项目里直接拖进配音、有声书流程。

视频配音是另一条更长的流水线:转写原音轨、翻译字幕、按原时间轴重排语速、再用目标音色合成。多说话人的素材需要说话人分离,这一块依赖 pyannote,模型是 HF 授权制,需要账号并同意条款。

批量场景可以用本地 API 或监听文件夹:把文本丢进目录,输出音频自动落到指定位置,不用开着界面点。

适合哪些人

  • 自己做视频、播客、有声书,想省掉配音外包和订阅费的人。
  • 需要批量生成语音,又不想按字符付费的开发者和小团队。
  • 有隐私要求,素材不能上传到第三方服务器的场景。
  • 有显卡、爱折腾模型,想在 IndexTTS、CosyVoice、VoxCPM 这些引擎之间横向比较效果的人。
  • 想把 TTS 接进自己工作流(MCP、HTTP API、脚本)的工程师。

不太适合:只想点两下就出结果的纯小白、只有 Intel Mac 的用户、以及指望开箱就是商业级音质的团队——后者更该去看云端付费方案。

优点

  • 完全本地推理,音频和文本不出机器,这是它相对 ElevenLabs 一类服务最实在的差异。
  • 引擎可插拔,同一套界面能试不同模型,不用为每个模型单独学一套工具。
  • 功能面宽:克隆、声音设计、配音、听写、有声书、批量、API 集中在一个 App 里。
  • 跨平台覆盖到位:macOS、Windows、Linux、Docker、Snap、Nix 都有现成路径,还有 iOS/Android 的构建流程和文档。
  • 文档密度高。每个引擎有独立页面,连「首次生成最慢」「dub 中断导致模型滞留在 CPU」这种坑都写进了性能指南。
  • 活跃度不用担心:仓库 2026 年 4 月创建,到现在仍在持续提交,不是挂出来就不管了的项目。

缺点与限制

  • 许可证是 AGPL-3.0。自己用无所谓,但如果把它改成对外提供的网络服务,衍生代码也要开源。商业闭源集成前先看 LICENSE-NOTICE.md。
  • 模型权重不是同一个许可证。模型管理器里每个模型都标了自己的授权,有的只允许研究用途,商用要逐个核对。
  • 体积和资源占用不轻:10 GB 起步,跑起来吃内存,16 GB 统一内存的机器一边开浏览器一边配音就容易被系统回收。
  • 功能多但彼此割裂感仍在:切换引擎要装不同的 Python 环境,偶发版本回归。官方性能文档里就记录了若干真实回归(比如字幕/克隆 profile 缺 transcript 时每次生成都重跑 ASR 的问题)。
  • 网络依赖 Hugging Face。国内直连下模型很慢,需要 token 或代理;这是很多人的第一道坎。
  • Intel Mac 与 Windows on ARM 都属于「能用但不完整」,别把它们当主战场。
  • 声音克隆的法律边界:只克隆你有权使用的声音,商用输出还要看具体模型条款。

用之前想清楚三件事

第一,你的机器顶不顶得住。有没有 NVIDIA 卡、内存多大,直接决定体验是「等几秒」还是「等几分钟」。

第二,你需不需要跨语种配音。只要中文单语朗读,默认引擎加一个备用引擎就够;要做多语言视频配音,得准备好说话人分离、字幕校对这些额外环节。

第三,你打算怎么用输出。个人内容创作和闭源商业产品是两种完全不同的合规路径,AGPL-3.0 加上逐模型的授权清单,值得在动手前花十分钟看清楚。

如果你本来就在用云端 TTS,又对费用或者素材外传有顾虑,VoiceStudio 是目前完成度比较高的一条自建路线:装一个、跑一段参考音、对比一下默认引擎的效果,值不值得留在自己机器上,半小时内就能判断。