目录
走进 OpenAI Whisper 开源语音识别技术
OpenAI 在 GitHub 上发布的 Whisper 是一个自动语音识别（ASR）系统。Whisper 是一个端到端的深度学习模型，它对音频片段进行处理，并预测对应的文本输出。
Whisper 个人觉得是目前免费做语音识别最好的系统，使用它的理由：
- 免费，开放源代码，意味着可以自由使用，包括商业化。
- 在数据训练的大模型基础上，识别任务上变现出色，背景噪音的情况下，也有稳定的表现。
- 语言识别模型可自由选择下载，意味着可以离线使用，只要你的机器硬件足够高，识别速度是非常快的。
- 多语言能力以及翻译能力，支持多种语言的音频，同时也支持翻译成英文，目前仅支持英文
- 可以作为命令行工具使用，也提供相关的 python 接口可供编程的能力
下面介绍安装和基本使用方法
1. 安装
$ pip install git+https://github.com/openai/whisper.git
$ sudo apt update && sudo apt install ffmpeg
这里安装了 whisper 的 python 库，同时也需要安装 ffmpeg，因为 whisper 在处理音频文件时，会用到 ffmpeg 来进行音频解码和转码。
2. 使用
Whisper 安装好后，提供了两种使用方式，即 终端使用 和 编程使用。
这里准备了一个音频素材，从 youtube 下载了一段 bbc 的视频，使用 ffmpeg 做了音频提取得到了一个 9秒的音频片段，可直接下载使用。
► 测试视频
► 测试音频
关于如何使用
ffmpeg提取音频，参考文章 «音视频处理工具 FFmpeg 的 TOP 10 常用场景»
2.1. 编程使用
这里使用 medium 模型，模型大小不到2G，初次使用会下载此模型，下载的路径是 “$HOME/.cache/whisper“，这里只是简单输出语音识别后的文字，更多的API，如生成不同格式的文本，见官方文档
2.1.1. 使用CPU加速
import whisper
model = whisper.load_model("medium")
result = model.transcribe("dataset/9s.wav")
print(result["text"])
You know, meeting with startups and there's not a startup right now out there that is not applying these AI Generative models these large language models to every interesting problem of the sun
2.1.2. 使用GPU加速
这里使用 pytorch 包检测是否有GPU，使用GPU中的cuda进行识别加速
import torch
import whisper
torch.cuda.is_available()
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
model = whisper.load_model("medium", device=DEVICE)
result = model.transcribe("dataset/9s.wav")
print(result["text"])
使用命令 gpustat 和 nvidia-smi 检查 GPU 使用情况如下：
2.2. 终端使用
2.2.1. 语音转文本
# 使用 medium 模型识别音频，生成 json、srt、tsv、txt、vtt 文件
whisper --model medium dataset/9s.wav
上面的命令会将识别的音频输出到控制台，同时生成带时间刻度的5个文本文件，当然也可根据自己的需求指定要生成的文件格式。
- 9s.json json格式的文本
- 9s.srt 文本文件格式，用于存储视频文件的字幕信息
- 9s.tsv 用于存储表格数据，类似于 CSV
- 9s.txt 简单文本
- 9s.vtt 文本文件格式，用于存储视频文件的字幕信息
2.2.2. 语音转文本（翻译）
# 带翻译功能，但目前只能讲目标语言翻译到"英文"
whisper --model medium dataset/9s.wav --task translate
3. 结论
OpenAI Whisper 可以说应该是目前最好的 ASR，基于已训练的模型可以自动识别语音，同时支持翻译能力。如果产品级使用，还需要解决模型加载速度以及RT时长的问题。