xiaohu-video-translate：一句话把外语视频变成中文字幕视频

看英文技术演讲、日语教程、韩语访谈——对很多中文开发者来说，语言障碍是获取信息的第一道坎。现有的视频翻译方案要么需要付费 API，要么操作繁琐得开四五个软件来回折腾。

xiaohu-video-translate 换了个思路：它是给 AI 编程代理用的「技能」，装好之后你只需要说一句「把这个链接翻译成中文字幕视频」，剩下的下载、转写、翻译、润色、烧录全自动完成。全程本地运行，转写不花一分钱 API 费。

一、它解决了什么问题

把一个英文技术演讲变成带中文字幕的视频，传统流程大概是这样的：

1. 用 yt-dlp 下载视频
2. 用 Whisper 转写成文字
3. 手动或用翻译 API 翻译成中文
4. 调整字幕时间轴、断句
5. 用 ffmpeg 把字幕烧进视频

五步操作，至少涉及三个工具，来回折腾一两个小时。xiaohu-video-translate 把这条流水线串成了一句话的事。

二、核心工作流

整个流程分五步，由三个「技能」协作完成：

三个技能各自独立，也可组合使用。翻译管线由 xiaohu-video-md 总调度，翻译那一步它自己会调用 xiaohu-subtitle-polish。

2.1 转写：本地 Whisper，零 API 费

转写是整个流程的核心环节。xiaohu-video-translate 使用 OpenAI 的 Whisper 模型，在本地完成语音识别：

• Apple Silicon：走 mlx-whisper + Metal GPU 加速，速度最快
• Windows / Linux：用 faster-whisper，基于 CTranslate2 优化
• 可选备份：whisper-cpp（纯 CLI，转文字最快）

关键优势是词级时间戳。普通 Whisper 输出只有段落级时间戳，字幕容易跑在说话人前面或半句挤在一起。xiaohu-video-translate 用词级时间戳按「句子 + 停顿」切分，字幕对齐精度高很多。

2.2 翻译与润色：不只是机翻

xiaohu-subtitle-polish 做的事比简单翻译多得多：

• 纠错转写错误：Whisper 经常把 “Claude” 听成 “cloud”、“MCP” 听成 “NCP”，翻译前先纠错
• 按语义断句：不是机械地按字数切，而是根据语义和停顿位置断句
• 术语保留英文：技术术语（如 API、Docker、Kubernetes）保留英文原词
• 去标点对轴：去掉多余的标点，确保时间轴对齐

2.3 烧录：一次编码不掉画质

字幕烧录和水印添加在一次 ffmpeg 编码中完成，不会二次压缩损失画质。支持两种字幕模式：

• 纯中文：画面干净
• 中英双语：中文大、英文小，用 ASS 字幕格式实现真正的字号反差（SRT 做不到这个）

三、支持的 AI 编程工具

xiaohu-video-translate 的核心是脚本 + SKILL.md 说明书，任何能读技能文件、又能跑命令的 AI 编程工具都能驱动它：

装好之后，你不需要记任何命令。直接用自然语言说：

• 「把这个链接翻译成中文字幕视频 https://youtu.be/xxxx」
• 「翻译这个日语视频，要中英双语字幕」
• 「把这个视频转成文字」
• 「用快速模式转写」

四、多语种支持

不挑语言。英语、日语、韩语、法语、西班牙语……只要 Whisper 听得懂的，都能转成中文字幕。 Whisper 自动识别原语种，翻译环节把任意外语翻成中文。中文视频则只做转写和文稿，不走翻译。

上面这张图展示了同一段 a16z 英文访谈被翻译成中、日、韩、阿、法五种语言的双语字幕效果。注意阿拉伯语（从右往左书写）也能排得整整齐齐。

烧进画面后的中英双语字幕：中文大、英文小，贴底不挡人。

五、安装与使用

macOS（最佳体验，Apple Silicon 优先）

1
2
3
4

brew install yt-dlp ffmpeg
pip3 install --break-system-packages mlx-whisper
git clone https://github.com/xiaohuailabs/xiaohu-video-translate.git
cd xiaohu-video-translate && bash install.sh

MLX 模型首次运行会自动从 HuggingFace 下载（约 1.5GB），不用手动下载。

Windows

最省事的方案是用 WSL2 + Ubuntu。原生 Windows 需要注意三点：

1. 转写引擎用 faster-whisper（MLX 只支持苹果芯片）
2. install.sh 是 bash 脚本，用 Git Bash 跑
3. 烧字幕的中文字体要换成微软雅黑

1
2

pip install yt-dlp faster-whisper
winget install Gyan.FFmpeg

Linux

1
2

sudo apt install ffmpeg
pip3 install yt-dlp faster-whisper

烧字幕时把字体换成系统自带的中文字体（如 Noto Sans CJK）。

六、技术细节

6.1 为什么不用付费转写 API

Whisper 是 OpenAI 开源的语音识别模型，跑在本地完全免费。相比付费 API（如 OpenAI Whisper API 按分钟计费），本地转写的成本为零。唯一的「成本」是首次下载模型的 1.5GB 流量和本地 GPU 算力。

对于 Apple Silicon 用户，mlx-whisper 走 Metal GPU 加速，转写速度非常快。Windows/Linux 用户用 faster-whisper（基于 CTranslate2），速度也不错。

6.2 字幕质量为什么比机翻好

三个原因：

1. 转写纠错：Whisper 的转写不是 100% 准确，特别是专有名词。翻译前先用 AI 纠错，避免错误累积
2. 语义断句：不是按字数切，而是按语义和停顿切，读起来自然
3. ASS 格式：双语字幕用 ASS 格式，支持精确的字号、位置、样式控制，比 SRT 强得多

6.3 抖音视频支持

抖音视频第一次用需要先登录一次：运行 python3 ~/.claude/skills/xiaohu-video-md/scripts/douyin_login.py，弹出的浏览器里扫码登录，登录态只存在本机。

七、局限性

1. Windows 字体适配不完善：默认用苹方字体，Windows 上需要手动换成微软雅黑
2. YouTube 偶尔 403：YouTube 的反爬机制可能导致下载失败，脚本会自动从浏览器读 cookies 重试，但不保证 100% 成功
3. 长视频耗时较长：一小时的视频，Whisper 转写可能需要 10-30 分钟（取决于硬件）
4. 翻译质量取决于底座模型：翻译和润色的质量取决于你使用的 AI 模型，不同模型效果差异较大

八、和同类工具对比

xiaohu-video-translate 的差异化在于：它是 Agent 技能，不是独立应用。装好之后用自然语言驱动，不需要记住任何命令行参数。而且全程本地，不上传视频到任何云端服务。

九、相关链接

• GitHub 仓库
• OpenAI Whisper
• mlx-whisper
• Claude Code