一个支持中英文的音视频转文字工具丨语音转字幕Speech to Text

在当今数字时代，音视频内容越来越多，但如何快速将其转换为文字一直是一个挑战。本项目提供了一个免费的解决方案，支持将视频和音频文件转换为文字，并且支持多语言识别。

一个支持中英文的音视频转文字工具，集成了 Vosk（离线）和 Whisper（在线）双引擎，可以将视频（mp4/mov）和音频（wav）转换为文字，并自动生成带时间戳的字幕文件。

Speech to Text 是一个用于Adobe Premiere Pro的插件，它可以将视频和语音转换为自动字幕文本。这个插件为视频编辑人员和内容创作者提供了一个简单而高效的方式来创建字幕，节省了大量手动添加字幕的时间和精力。总之，Adobe Speech to Text是一个强大而实用的插件，为视频编辑人员和内容创作者提供了高效、准确的语音转文字幕的功能。它简化了字幕制作的过程，节省了时间和精力，同时提供了一些个性化的选项，使字幕效果更加丰富和独特。无论是制作专业视频还是个人创作，这个插件都是一个非常有价值的工具。

技术特点

1. 双引擎支持

   • Vosk：开源语音识别引擎，支持离线使用
   • Whisper：OpenAI 开源的强大语音识别模型

2. 多语言支持

   • 英文识别
   • 中文识别
   • 其他语言支持（Whisper）
   • 自动语言检测（Whisper）

3. 灵活的输出格式

   • 纯文本转录（transcript.txt）
   • 带时间戳的 JSON 格式（words.json）
   • SRT 字幕文件（captions.srt）

4. 支持多种音视频格式

• 视频：mp4, mov
• 音频：wav（支持自动转换）

核心功能

1. 视频转文字

   • 自动提取音频
   • 生成对应文字和字幕

2. 音频转文字

   • 支持长音频处理
   • 自动分段处理

3. Whisper 模型选择

   • tiny：速度最快，适合测试
   • base (139M)：平衡速度和准确率
   • small：适合一般用途
   • medium (1.42G)：较高准确率
   • large：最高准确率

预处理为wav

音频必须是 .wav 格式 ffmpeg 将 mp3 转换为 wav： ffmpeg -i input.mp3 output.wav

ffmpeg 将 mp4 转换为 wav： ffmpeg -i input.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 2 output.wav

 

性能优化建议

 

1. 模型选择

   • 短音频或测试：使用 tiny/base
   • 一般用途：使用 base/small
   • 文字基本准确：使用 medium
   • 追求最高准确率：使用 large

2. 系统要求

   • 8GB RAM：建议使用 tiny/base 模型
   • 16GB RAM：可以使用 small/medium 模型
   • 32GB+ RAM：可以使用 large 模型

3. 处理长音频

   • 自动分段处理
   • 智能合并结果
   • 内存使用优化

 

使用场景

 

1. 会议记录

   • 自动生成会议文字记录
   • 支持字幕时间轴

2. 视频内容处理

   • YouTube 视频转录
   • 教育视频字幕生成

3. 音频档案处理

   • 语音笔记转文字
   • 播客内容转录