开源视频翻译配音工具实测 支持多语言字幕与语音合成

视频翻译与配音工具

这款开源视频处理工具虽未正式命名，但功能实用性强。它通过多种技术组合实现视频翻译与配音，支持将视频内容转换为不同语言版本。

技术特点

该工具采用OpenAI-Whisper离线模型进行语音识别，通过Google翻译接口处理文本转换，并运用Microsoft Edge TTS实现语音合成。在音频处理方面，集成Spleeter工具用于背景音乐分离。目前可支持十二种语言的互译转换，特别在生成中文字幕和中文配音方面表现出色。

功能测试

以某科技领袖与英国首相的人工智能对话视频为例，使用基础版Whisper模型进行测试。结果显示对英式英语的识别准确率约达80%，而对美式英语的识别精度约为60%。这种差异可能与发音清晰度有关。用户可根据需求选择更高级别的Whisper模型来提升识别效果。

注：该工具同时支持日语翻译功能，具体效果有待进一步验证。

分享地址：

https://github.com/jianchang512/pyvideotrans
https://x.com/elonmusk/status/1720188083780370481?s=20