语音识别模型

• Whisper开源本地模型
• 调用云端 ASR模型
  • OpenAI Whisper
  • 阿里云语音识别
  • 腾讯云 ASR
  • 火山引擎 ASR

Whisper

• OpenAI 开源的语音识别模型
• 把视频/音频里的语音转成文字，并且通常还能带时间戳
• 在音视频中可以作为ASR / STT 这一层
• Electron 桌面应用把 Whisper 模型下载到用户电脑、本地运行，那么语音转文字本身可以做到免费，不按分钟收费
  • 模型随安装包一起发布，这样会造成安装包很大
  • 应用首次使用时再下载模型
    • 第一次点“语音识别”时，再下载 Whisper 模型到本地
    • 后续重复使用，不需要再次下载
    • 这是更常见、也更灵活的做法

whisper.cpp

• Whisper 是模型，whisper.cpp 是让 Whisper 模型能够高效在 C/C++ / 本地桌面端运行的推理引擎
• 支持ASR 语音识别
• whisper.cpp 是用 C/C++ 重新实现 Whisper 推理的运行程序
  • .cpp 就是在表示 C++ 实现
  • 本质上还是在跑 Whisper 模型
• whisper.cpp 特别适合 Electron
  • Electron 可以直接将编译好的 whisper.cpp 二进制文件一起发布应用
  • 用户进行语音识别ASR时，按需下载Whisper模型
  • 通过whisper.cpp引擎，负责执行Whisper模型推理
• github：https://github.com/ggml-org/whisper.cpp

faster-whisper

• faster-whisper 是Python 里的 Whisper 库
• 当收到请求识别的时候，才会加载模型，缓存没有的话，就会下载模型

whisper模型系列

• 桌面 AI 视频剪辑产品，可考虑 base 或 small + 首次按需下载模型
• whisper.cpp 可以加载并运行这些 Whisper 模型对应的转换格式

模型	磁盘大小约	运行内存约	特点
tiny	75 MiB	273 MB	最快、准确率最低
tiny.en	75 MiB	273 MB	tiny 英文专用
base	142 MiB	388 MB	速度/准确率较均衡
base.en	142 MiB	388 MB	base 英文专用
small	466 MiB	852 MB	准确率明显更好
small.en	466 MiB	852 MB	small 英文专用
medium	1.5 GiB	2.1 GB	高准确率，但资源需求较高
medium.en	1.5 GiB	2.1 GB	medium 英文专用
large-v1	2.9 GiB	3.9 GB	第一代 large
large-v2	2.9 GiB	3.9 GB	第二代 large
large-v3	2.9 GiB	3.9 GB	更强的多语言识别
large-v3-turbo	1.5 GiB	2.1 GB	large-v3 的快速版本

本地Whisper对比OpenAI云端Whisper

• whisper.cpp = 把 Whisper 跑在用户电脑上；
• OpenAI 云服务 = 把语音上传给 OpenAI，让云端模型帮你识别
• 追求离线、隐私、低长期成本 → whisper.cpp
• 追求接入简单、弱电脑也能跑、统一体验 → OpenAI 云 ASR
• 正式产品 → 最好两种都支持，云端默认，本地作为隐私/离线模式
  • 本地识别，选择 Whisper，下载模型
  • 云服务模型：选择 OpenAI，填入API Key

对比项	本地 whisper.cpp + Whisper 模型	OpenAI 云端 Whisper / Transcribe
运行位置	用户电脑本地	OpenAI 云服务器
是否联网	不需要	需要
是否按量收费	本地推理本身不收费	按 API 用量收费
模型文件	需要下载到本地	不需要下载
本地磁盘占用	有，几百 MB～几 GB	基本没有模型占用
本地内存/GPU占用	有	很少
隐私	音频不出本机	音频上传云端
性能	看用户电脑性能	看网络 + 云服务性能
集成方式	Electron 调 whisper.cpp binary	HTTP / SDK 调 API
部署复杂度	要管理 binary、模型下载、兼容性	简单很多
离线能力	✅	❌
适合场景	桌面端、本地隐私、离线	SaaS、弱设备、统一体验