github链接:https://github.com/openai/whisper

1、介绍

Whisper 是一种通用的语音识别模型。它是在包含各种音频的大型数据集上训练的,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。

Transformer 序列到序列模型针对各种语音处理任务进行训练,包括多语言语音识别、语音翻译、口语识别和语音活动检测。这些任务共同表示为由解码器预测的一系列标记,允许单个模型取代传统语音处理管道的多个阶段。多任务训练格式使用一组特殊标记作为任务说明符或分类目标。

2、安装依赖

conda create -n whisper python=3.8
conda activate whisper
pip install -r requirements.txt -i  https://mirror.baidu.com/pypi/simple/
pip install -U openai-whisper

3、运行

whisper D:/1.mp4 --model tiny  --language Chinese