首页 › skills-review › 声音即技能:语音合成克隆转录八引擎实测

声音即技能:语音合成·克隆·转录八引擎实测

2026年Q2,Claude Code Skills生态在语音与音频领域爆发式增长。从文本转语音(TTS)到声音克隆,从会议纪要转录到AI音乐制作,再到播客自动生成——语音类Skills已从边缘工具跃升为内容生产的核心基础设施。本评测聚焦八大代表性语音音频引擎,覆盖合成、克隆、转录、播客、音乐、视频配音、媒体采集和本地离线八个方向,从功能完整度、上手难度、变现潜力、训练营适用性、社区活跃度五个维度进行深度横评。


评测总览

引擎 核心能力 功能完整度 上手难度 变现潜力 训练营适用 社区活跃度 综合评分
LeanVox TTS+STT+克隆统一 ★★★★★ ★★★★☆ ★★★★★ ★★★★☆ ★★★★☆ 4.6
ElevenLabs Voice Expert 顶级语音合成+克隆 ★★★★★ ★★★☆☆ ★★★★★ ★★★★☆ ★★★★★ 4.5
F5-TTS / claude-tts-skill 本地离线开源TTS ★★★★☆ ★★★☆☆ ★★★★☆ ★★★★★ ★★★★☆ 4.0
claude-listen Whisper本地转录+说话人分离 ★★★★☆ ★★★☆☆ ★★★★☆ ★★★★☆ ★★★★☆ 3.8
podcast (sgasser) 文本→播客音频零API ★★★★☆ ★★★★★ ★★★☆☆ ★★★★★ ★★★☆☆ 3.7
claude-music (ACE-Step) AI音乐生成+编曲 ★★★★☆ ★★★★☆ ★★★★★ ★★★★☆ ★★★★☆ 4.2
sora OpenAI视频生成+配音 ★★★★★ ★★★☆☆ ★★★★★ ★★★☆☆ ★★★★★ 4.3
youtube-transcript 视频字幕提取+摘要 ★★★★☆ ★★★★★ ★★★★☆ ★★★★★ ★★★★☆ 4.2

一、LeanVox:语音三合一统一引擎

来源:leanvox.com | 安装:npx skills add leanvox

LeanVox是2026年语音Skills领域最具野心的项目之一,它将TTS语音合成、STT语音转录和Voice Cloning声音克隆三大能力统一打包为一个Agent Skill。底层集成了ElevenLabs、OpenAI TTS和本地macOS系统语音三条管道,用户无需分别安装多个Skill即可完成从"文本→语音→克隆→转录"的全闭环。

核心功能演示:安装后,Claude Code可直接执行"将这段文字转为播客音频"、"克隆这个声音并读出以下内容"、"转录这个会议录音并生成纪要"三类指令。LeanVox的SKILL.md定义了完整的workflow决策树——根据用户意图自动路由到TTS/STT/Clone三条支线,支持批量处理和文件级联操作。2026年5月,LeanVox进一步推出了MCP Server版本,可直接在Claude Desktop、ChatGPT和Cursor中使用,跨平台兼容37+个AI Agent。

评分详解: - 功能完整度 ★★★★★:TTS+STT+Clone三合一,支持11种输出格式 - 上手难度 ★★★★☆:需配置ElevenLabs API Key,但有免费层 - 变现潜力 ★★★★★:可打包为"AI配音SaaS",定价空间$29-99/月 - 训练营适用 ★★★★☆:适合2天密集课程,需API基础 - 社区活跃度 ★★★★☆:GitHub 500+ Stars,持续更新

与竞品对比:相比单独的TTS Skill(如bluemomo112/claude-tts-skill只做TTS),LeanVox的统一架构省去了多Skill协调的复杂性。但深度不及ElevenLabs Voice Expert的专业级控制。


二、ElevenLabs Voice Expert:顶级语音克隆专家

来源:thomasblc/elevenlabs-claude-skill | 安装:npx skills add elevenlabs-voice-expert

ElevenLabs Voice Expert是专门为ElevenLabs API设计的深度集成Skill,覆盖了voiceover生成、声音克隆、音效创建和批量处理四个专业场景。2026年ElevenLabs v3发布后,该Skill率先支持了Instant Voice Cloning和Professional Voice Cloning两种模式,克隆精度从v2的82%提升至v3的94%(MOS评分)。

核心功能演示:clone my voice from this sample and read the script in Spanish with Castilian accent——这条自然语言指令即可触发完整的克隆→合成→多语言输出流程。Skill内置了70+种语言的accent控制参数,支持情感调节(neutral/happy/sad/angry/whispering),以及音效生成(rain, thunder, keyboard typing等32种环境音)。

评分详解: - 功能完整度 ★★★★★:覆盖ElevenLabs全部API端点 - 上手难度 ★★★☆☆:需ElevenLabs Pro订阅($22/月起),API参数多 - 变现潜力 ★★★★★:直接对接有声书、广告配音、游戏NPC语音市场 - 训练营适用 ★★★★☆:适合进阶课程,需要语音工程基础 - 社区活跃度 ★★★★★:ElevenLabs官方推荐,社区贡献活跃

变现路径:配音SaaS($0.30/分钟)、有声书制作($500-2000/本)、游戏NPC语音包($2000-5000/项目)。训练营可设计为3天密集课,从API接入到声音克隆全流程。


三、F5-TTS / claude-tts-skill:本地离线语音合成

来源:bluemomo112/claude-tts-skill | 安装:npx skills add claude-tts

F5-TTS是2026年开源TTS领域的明星模型,由SWivid团队开发的Flow Matching架构实现了从10秒音频样本克隆声音的能力。claude-tts-skill将F5-TTS与MLX优化结合,在Apple Silicon上实现sub-100ms延迟的实时语音合成,完全本地运行、零API费用。

核心功能演示:该Skill支持双模式运行——OpenAI Cloud模式(高质量,需API Key)和Fish Speech/F5-TTS本地模式(免费,需8GB+ VRAM)。本地模式下,用户只需提供一段10-15秒的参考音频,F5-TTS即可克隆声音并合成任意文本。2026年Q1,Fish Audio S2 Pro在盲测中以67%胜率击败ElevenLabs,证明了开源方案已接近商用水平。

评分详解: - 功能完整度 ★★★★☆:本地+云端双模式,但音色库较少 - 上手难度 ★★★☆☆:本地部署需GPU/MLX环境配置 - 变现潜力 ★★★★☆:零成本优势明显,但音质略逊云端 - 训练营适用 ★★★★★:开源免费,非常适合教学 - 社区活跃度 ★★★★☆:F5-TTS主仓库14k+ Stars

关键决策点:如果追求音质和稳定性选ElevenLabs;如果追求隐私和零成本选F5-TTS。两者差距在2026年已缩小到普通人难以分辨的程度。


四、claude-listen:Whisper本地转录与说话人分离

来源:terminator1333/claude-listen | 安装:npx skills add claude-listen

claude-listen是专为会议场景设计的转录Skill,基于faster-whisper + pyannote.audio实现全本地音频转录和说话人分离(Speaker Diarization)。无需任何API调用,所有处理在本地完成,保证了企业级隐私安全。

核心功能演示:拖入一段60分钟会议录音,claude-listen自动完成语音识别→说话人分离→结构化纪要生成三步流程。输出格式包含时间戳、说话人标签(Speaker 1/2/3)、对话摘要和行动项提取。相比简单的Whisper转录,pyannote的说话人分离精度达到92%(DER < 8%),在多人会议场景中优势明显。

评分详解: - 功能完整度 ★★★★☆:转录+分离+纪要,但不支持实时流式 - 上手难度 ★★★☆☆:需安装faster-whisper和pyannote依赖 - 变现潜力 ★★★★☆:会议纪要SaaS市场巨大(参考Otter.ai $16.99/月) - 训练营适用 ★★★★☆:适合NLP/语音处理课程 - 社区活跃度 ★★★★☆:持续更新,但核心依赖上游库


五、podcast (sgasser):零API播客生成器

来源:sgasser/claude-skill-podcast | 安装:npx skills add podcast

podcast Skill的核心理念是"零成本播客"——完全依赖浏览器原生Web Speech API实现文本转音频,无需任何外部TTS服务或API Key。这意味着任何Claude Code用户都可以在30秒内将一段博客文章转化为可下载的播客音频。

核心功能演示:输入一篇3000字的博客文章,Skill自动将其分割为适合播客节奏的段落,通过浏览器TTS朗读并录制为MP3。支持语速调节(0.8x-1.5x)、音量控制和暂停恢复。虽然音质不如ElevenLabs的神经网络语音,但对于"快速内容分发"场景足够实用。

评分详解: - 功能完整度 ★★★★☆:功能简洁但够用,支持分段和语速控制 - 上手难度 ★★★★★:真正的零配置,安装即用 - 变现潜力 ★★★☆☆:音质限制变现空间,适合作为免费增值入口 - 训练营适用 ★★★★★:入门级最佳教学案例,1小时即可上手 - 社区活跃度 ★★★☆☆:个人维护项目,更新频率一般

定位分析:podcast不是ElevenLabs的竞品,而是"播客入门"的零门槛方案。适合内容创作者快速验证"文章转音频"的效果,验证后再升级到付费TTS服务。


六、claude-music (ACE-Step):终端里的AI音乐工作室

来源:AgriciDaniel/claude-music | 安装:npx skills add claude-music

claude-music是2026年音乐生成Skills中最具突破性的项目。底层采用ACE-Step 1.5——一个完全开源的音乐生成模型,在所有公开基准测试中超越了Suno和Udio。该Skill支持完整歌曲生成、翻唱、混音和编曲四种模式。

核心功能演示:generate a 90s style lo-fi hip hop track, 2 minutes, with soft piano melody——Claude Code接收到这条指令后,通过ACE-Step模型生成完整的立体声音频文件(WAV/MP3),包含旋律、和弦进行、鼓点和低音线。支持genre(爵士、电子、古典、流行等20+风格)、mood(欢快、忧伤、紧张等)、tempo(60-180 BPM)和时长(10秒-4分钟)的精细控制。

评分详解: - 功能完整度 ★★★★☆:支持生成+翻唱+混音,但实时编曲有限 - 上手难度 ★★★★☆:需GPU环境,但Skill封装了所有配置 - 变现潜力 ★★★★★:背景音乐市场$5-50/首,版权完全归属用户 - 训练营适用 ★★★★☆:适合AI音乐创作课程,2-3天教学 - 社区活跃度 ★★★★☆:ACE-Step生态活跃,Skill持续更新

变现路径:短视频背景音乐包($29/50首)、游戏BGM定制($200-1000/项目)、冥想/白噪音应用内容库(订阅制)。关键优势:ACE-Step完全开源,生成内容无版权纠纷。


七、sora:OpenAI视频生成+配音一体化

来源:fltman/claude-code-skill-sora-video | 安装:npx skills add sora

sora Skill将OpenAI的Sora视频生成API完整集成到Claude Code中,支持文本生成视频(text-to-video)、视频混音(remix)、批量生成(batch)、轮询状态(poll)和下载管理(download)五种核心操作。2026年5月,Sora 2 API虽然宣布将在9月关闭,但在过渡期内仍是最高质量的文本转视频方案。

核心功能演示:Skill的workflow决策树清晰定义了五种意图路由——generate(创建新视频)、remix(基于已有视频变体)、status/download(查询/下载)、batch(批量生成)。用户只需说"生成一段15秒的日落海滩航拍视频,电影级画质",Skill自动组装API调用、选择模型(sora-1.0-turbo或sora-1.0)、设置分辨率(480p/720p/1080p)并异步等待结果。

评分详解: - 功能完整度 ★★★★★:覆盖Sora全部API功能,含批量和管理 - 上手难度 ★★★☆☆:需OPENAI_API_KEY和Sora API访问权限 - 变现潜力 ★★★★★:短视频/广告视频制作市场巨大 - 训练营适用 ★★★☆☆:API成本较高($0.03-0.10/秒),教学成本大 - 社区活跃度 ★★★★★:OpenAI官方支持,社区生态丰富

风险提示:Sora 2 API将于2026年9月24日关闭,后续需迁移到替代方案(如Google Veo或Remotion Skill)。建议同时掌握remotion-video-creator作为后备方案。


八、youtube-transcript + video-downloader:媒体采集双引擎

来源:zerowing113/claude-youtube-skill | 安装:npx skills add youtube-transcript

youtube-transcript和video-downloader构成媒体内容采集的基础设施层。前者使用yt-dlp提取YouTube视频字幕和元数据,后者负责视频/音频文件的下载和格式转换。两者组合使用可实现"视频→字幕→摘要→再创作"的完整内容管线。

核心功能演示:输入一个YouTube URL,youtube-transcript自动提取带时间戳的字幕文本(优先YouTube原生字幕,无字幕时回退到Whisper本地转录),然后生成结构化摘要——包含关键论点、时间线索引和引用来源。video-downloader则支持从YouTube、Bilibili、Twitter等10000+个平台下载视频/音频,支持格式选择(MP4/WEBM/MP3/M4A)和质量等级控制。

评分详解: - 功能完整度 ★★★★☆:字幕提取+下载覆盖主流场景 - 上手难度 ★★★★★:安装即用,依赖yt-dlp自动安装 - 变现潜力 ★★★★☆:内容再创作和信息整理的基础工具 - 训练营适用 ★★★★★:1小时即可教学的入门级Skill - 社区活跃度 ★★★★☆:yt-dlp生态成熟,Skills持续跟进


Skills生态语音音频分类全景

mindmap
  root((语音音频Skills生态))
    语音合成TTS
      LeanVox 三合一
      ElevenLabs Voice Expert
      F5-TTS 本地离线
      Fish Audio S2 Pro
      OpenAI TTS Cloud
      浏览器Web Speech API
    语音克隆
      ElevenLabs Instant Clone
      ElevenLabs Pro Clone
      F5-TTS 10秒样本克隆
      Fish Audio S2 Pro
    语音转录STT
      Whisper Local
      claude-listen 会议纪要
      audio-transcriber
      transcript-critic
      browser native STT
    播客与音频
      podcast 文本转播客
      blog-audio 博客朗读
      AI Voice Kit 本地套件
    音乐生成
      claude-music ACE-Step
      AI Music Production
      Sound Effect Generator
    视频配音
      sora OpenAI视频
      content-to-video TTS+字幕
      course-video-maker-zh 中文配音
      Remotion 程序化视频
    媒体采集
      youtube-transcript
      video-downloader yt-dlp
      audio-extract
    原生能力
      Voice Mode /voice
      Voice Dictation
      Agent Audio Hooks

推荐排行榜

🏆 综合实力Top 3

排名 引擎 综合评分 一句话评价
1 LeanVox 4.6 语音三合一统一入口,开箱即用的最佳选择
2 ElevenLabs Voice Expert 4.5 音质天花板,专业级语音克隆首选
3 sora 4.3 视频生成+配音一体化,内容生产终极引擎

💰 变现潜力Top 3

排名 引擎 变现方向 定价空间
1 ElevenLabs Voice Expert 配音SaaS/有声书 $0.30/分钟 - $5000/项目
2 LeanVox AI语音平台 $29-99/月订阅
3 claude-music 背景音乐/游戏BGM $5-50/首 - $1000/项目

🎓 训练营教学Top 3

排名 引擎 教学时长 适合人群
1 podcast 1小时 零基础内容创作者
2 youtube-transcript 1小时 研究人员/信息工作者
3 F5-TTS / claude-tts 半天 有Python基础的开发者

⚡ 上手速度Top 3

排名 引擎 安装到运行 依赖要求
1 podcast 30秒 无(浏览器TTS)
2 youtube-transcript 1分钟 yt-dlp自动安装
3 LeanVox 2分钟 仅需API Key

🔒 隐私安全Top 3(本地运行)

排名 引擎 完全离线 数据出站
1 F5-TTS / claude-tts ✅ 零
2 claude-listen ✅ 零
3 podcast ✅ 零

关键趋势与洞察

趋势一:开源TTS逼近商用水平。 Fish Audio S2 Pro在2026年Q1的盲测中以67%胜率击败ElevenLabs,标志着开源TTS已进入"足够好"的区间。对于预算有限的创业者和教育场景,F5-TTS + claude-tts-skill的组合提供了零成本的可行路径。

趋势二:语音Skills从单点工具走向平台化。 LeanVox的TTS+STT+Clone三合一架构代表了新的设计范式——不再是一个Skill只做一件事,而是一个Skill覆盖语音全链路。这种"Swiss Army Knife"模式正在被其他领域效仿。

趋势三:音乐生成成为新蓝海。 ACE-Step 1.5的开源使AI音乐生成从"黑箱API调用"变为"本地可控创作"。音乐版权归属的明确性(开源模型生成内容归用户)为商业化扫清了障碍,短视频BGM、游戏配乐、冥想音频三个细分市场已出现明确的付费需求。

趋势四:Sora API关闭倒逼生态分化。 OpenAI宣布Sora 2 API将于2026年9月关闭,这迫使Skills生态加速向Remotion(程序化视频)和Google Veo(AI生成视频)迁移。对于视频创作者,当前是掌握Remotion Skill的最佳窗口期。

趋势五:会议纪要成为企业级刚需。 claude-listen代表的本地转录方案解决了企业对数据隐私的核心顾虑。说话人分离(Diarization)精度的持续提升(2026年DER已低于8%)使自动会议纪要在多人场景中真正可用,Otter.ai级别的产品可以用Claude Code Skills以十分之一的成本复刻。


参考来源

  1. LeanVox Agent Skill: Add TTS to Claude Code, Cursor, and 37+ AI Agents — LeanVox三合一语音Skill官方发布说明
  2. Fish Audio Blind TTS Provider Comparison 2026 — 开源TTS vs ElevenLabs盲测结果
  3. Claude Code Video Skills: A Developer's Practical Guide to All 6 Options (2026) — 视频生成Skills全景对比
  4. claude-music: AI music production skill powered by ACE-Step 1.5 — AI音乐Skill技术解析
  5. ElevenLabs v3 Voice Cloning: Complete Creator Guide 2026 — ElevenLabs v3克隆能力深度评测

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入