conda create -y --name Paraformer python=3.7

conda init cmd.exe

conda activate Paraformer

pip install modelscope

pip install "modelscope" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install funasr

if not exist %USERPROFILE%\.cache\modelscope\hub mkdir %USERPROFILE%\.cache\modelscope\hub

start %USERPROFILE%\.cache\modelscope\hub

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

# 音频文件路径

AudioFile = 'D:/Audio.wav'

inference_pipeline = pipeline(

task=Tasks.auto_speech_recognition,

model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',

model_revision="v1.2.4")

rec_result = inference_pipeline(audio_in=AudioFile)

print(rec_result)

<strong>{</strong>'text': '谢谢大家。嗯，看见你们高兴，我痛快也高兴，老老少少。嗯，楼上楼下对一万多人，哪有那么些人呢？连摇台吃涮肉的这帮嗨，外边也算来这么些人。嗯，好嗯，没事，多听听相声，对，有好处嗯，开心哎，一乐没有难过的事儿啊。天塌下来，有武大郎盯着就怕活着呢。火 也 不 应 该 嗯 想 了 这 么 一 刻 钟 嗯 出 去 跟 他 好 好 说 说 哎 是 不 是 解 释 一 下 就 是 我 决 定 嗯 我 我 冲 水 我 站 起 来 别 那 不 是 想 了 一 刻 钟 您 那 儿 拉 了 一 棵 钟 讨 厌 啊 啊 讨 厌 啊 我 坐 那 我 冷 静 了 半 天 我 觉 着 心 心 里 舒 服 多 了 你 知 道 吗 肚 子 里 舒 服 多 了 啊 瞎 说 谁 瞎 说 了 我 太 对 他 有 这 用 吗 是 啊 您 想 的 时 候 冲 水 干 嘛 我 这 琢 磨 我 就 冲 进 房 间 坐 错 地 儿 啊 那 叫 冲 错 房 间 了 啊 哎 我 那 意 思 就 是 他 也 他 希 望 我 好 是 谁 都 希 望 谁 戴 乐 你 出 去 啊 谁 乐 没 有 的 不 带 这 样 的 嗯 我 们 家 里 闹 别 你 还 看 着 可 乐 你 是 什 么 人 你 这 是 是 要 不 给 您 气 成 这 样 舅 舅 真 生 气 嗯 当 然 他 也 是 为 了 我 好 是 他 一 直 就 希 望 我 出 类 拔 萃 吧 对 比 别 人 强 吧 啊 是 不 是 嗯 这 就 是 典 型 的 望 子 成 龙 你 知 道 吗 你 这 关 系 不 一 般 呢 那 个 那 当 然 了 啊 当 然 我 水 平 有 限 我 的 心 是 热 的 你 别 客 气 了 啊 不 错 是 吧 我 要 艺 我 跟 你 我 比 不 了 怎 么 了 我 跟 你 我 没 法 比 嗨 人 家 于 老 师 人 家 这 跟 咱 水 平 觉 悟 啊 方 方 面 面 经 验 都 比 咱 强 啊 您 不 能 那 么 咱 人 跟 人 家 怎 么 比 嗨 咱 就 普 通 老 百 姓 吃 谁 都 谁 捞 鱼 去 啊 书 香 门 第 嗨 人 家 香 没 地 地 啊 连 他 带 他 媳 妇 儿 啊 人 家 嫂 子 人 家 这 都 大 户 人 家 不 敢 知 道 吗 琴 棋 书 画 样 样 精 通 我 们 家 早 上 起 来 我 媳 妇 妇 来 老 点 去 他 可 不 是 谁 都 扫 地 啊 擦 地 是 说 有 谁 家 孩 子 们 家 净 这 个 杂 杂 事 儿 吗 人 家 家 早 上 起 来 收 拾 利 索 了 香 油 点 歌 香 嚯 那 放 着 古 筝 的 音 乐 哦 啊 俩 俩 书 台 笔 墨 纸 砚 都 预 备 好 了 颜 搁 了 墨 片 倒 了 笔 啊 擦 写 两 口 子 画 画 哎 人 家 要 人 家 好 这 个 你 说 他 说 这 边 嫂 子 做 对 联 哦 一 人 桌 子 上 搁 一 镜 子 嗯 看 一 眼 好 两 品 自 画 像 扒 了 牙 也 得 画 出 啊 嫂 �

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from datetime import datetime

# 音频文件路径

AudioFile = 'D:/Audio.wav'

inference_pipeline = pipeline(

task=Tasks.auto_speech_recognition,

model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',

model_revision="v1.2.4")

rec_result = inference_pipeline(audio_in=AudioFile)

def convert_timestamp(ts):

  ts = ts / 1000 # convert to seconds
  
  hours = ts // 3600
  
  ts %= 3600
  
  minutes = ts // 60
  
  seconds = ts % 60
  
  return "%02d:%02d:%02d" % (hours, minutes, seconds)

for sentence in rec_result['sentences']:

  start_time = convert_timestamp(sentence['start'])
  
  end_time = convert_timestamp(sentence['end'])
  
  print("{} - {} {}".format(start_time, end_time, sentence['text']))

—————— 开头部分省略 ——————
00:03:05 - 00:03:07 当然我水平有限，

00:03:07 - 00:03:08 我的心是热的，

00:03:08 - 00:03:09 你别客气了啊，

00:03:09 - 00:03:10 不错是吧？

00:03:10 - 00:03:11 我要艺，

00:03:11 - 00:03:12 我跟你我比不了怎么了，

00:03:12 - 00:03:13 我跟你我没法比。

00:03:13 - 00:03:14 嗨，

00:03:14 - 00:03:14 人家于老师，

00:03:14 - 00:03:17 人家这跟咱水平觉悟啊，

00:03:17 - 00:03:19 方方面面经验都比咱强啊。

00:03:19 - 00:03:20 您不能，

00:03:20 - 00:03:22 那么咱人跟人家怎么比嗨，

00:03:22 - 00:03:24 咱就普通老百姓吃，

00:03:24 - 00:03:25 谁都谁捞鱼去啊，

00:03:25 - 00:03:27 书香门第嗨，

00:03:27 - 00:03:28 人家香没地地啊，

00:03:28 - 00:03:31 连他带他媳妇儿啊，

00:03:31 - 00:03:32 人家嫂子，

00:03:32 - 00:03:35 人家这都大户人家不敢知道吗？

00:03:35 - 00:03:37 琴棋书画样样精通，

00:03:37 - 00:03:38 我们家早上起来，

00:03:38 - 00:03:39 我媳妇妇来老点去，

00:03:39 - 00:03:42 他可不是谁都扫地啊，

—————— 结尾部分省略 ——————

import pandas as pd

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from datetime import datetime

# 音频文件路径
AudioFile = 'D:/Audio.wav'
# Excel文件路径
ExcelFile = 'D:/output.xlsx'

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    model_revision="v1.2.4")

rec_result = inference_pipeline(audio_in=AudioFile)

# 将毫秒数转换为 "时:分:秒" 的形式
def convert_timestamp(ts):
    ts = ts / 1000  # convert to seconds
    hours = ts // 3600
    ts %= 3600
    minutes = ts // 60
    seconds = ts % 60
    return "%02d:%02d:%02d" % (hours, minutes, seconds)

# 创建用于数据存储的 pandas 数据框
df = pd.DataFrame(columns=['开始时间', '结束时间', '文本内容'])

for sentence in rec_result['sentences']:
    start_time = convert_timestamp(sentence['start'])
    end_time = convert_timestamp(sentence['end'])
    df = df.append({'开始时间': start_time, '结束时间': end_time, '文本内容': sentence['text']}, ignore_index=True)

# 保存Excel文件
df.to_excel(ExcelFile, index=False)

import pandas as pd

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from datetime import datetime

# 音频文件路径
AudioFile = 'D:/Audio.wav'
# Excel文件路径
ExcelFile = 'output.xlsx'

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    model_revision="v1.2.4")

rec_result = inference_pipeline(audio_in=AudioFile)

# 将毫秒数转换为 "时:分:秒" 的形式
def convert_timestamp(ts):
    ts = ts / 1000  # convert to seconds
    hours = ts // 3600
    ts %= 3600
    minutes = ts // 60
    seconds = ts % 60
    return "%02d:%02d:%02d" % (hours, minutes, seconds)

# 创建用于数据存储的 pandas 数据框
df = pd.DataFrame(columns=['开始时间', '结束时间', '文本内容'])

# 当前行内容
current_line = {'开始时间': None, '结束时间': None, '文本内容': ""}

for sentence in rec_result['sentences']:
    if current_line['开始时间'] is None:
        current_line['开始时间'] = convert_timestamp(sentence['start'])
    current_line['文本内容'] += sentence['text']
    
    if sentence['text'].strip().endswith('。'):
        current_line['结束时间'] = convert_timestamp(sentence['end'])
        df = df.append(current_line, ignore_index=True)
        current_line = {'开始时间': None, '结束时间': None, '文本内容': ""}

# 保存Excel文件
df.to_excel('output.xlsx', index=False)

cat wav.scp
asr_example1  data/test/audios/asr_example1.wav
asr_example2  data/test/audios/asr_example2.wav
...

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    model_revision="v1.2.4")

rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_vad_punc_example.wav')
print(rec_result)

rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_vad_punc_example.pcm', audio_fs=16000)

rec_result = inference_pipeline<strong>(</strong>audio_in='asr_vad_punc_example.wav'<strong>)</strong>

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    model_revision="v1.2.4",
    output_dir='./output_dir')

inference_pipeline(audio_in="wav.scp")

tree output_dir/
output_dir/
└── 1best_recog
    ├── rtf
    ├── score
    ├── text
    └── time_stamp

1 directory, 4 files

import soundfile

waveform, sample_rate = soundfile.read("asr_vad_punc_example.wav")
rec_result = inference_pipeline(audio_in=waveform)

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    vad_model='damo/speech_fsmn_vad_zh-cn-16k-common-pytorch',
    punc_model='damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch',
)

inference_pipeline = pipeline(
    task=Tasks.auto_speech_recognition,
    model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
    vad_model='',
    punc_model='',
)

param_dict['use_timestamp'] = False
rec_result = inference_pipeline(audio_in='https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_vad_punc_example.wav', param_dict=param_dict)

)

import os
from modelscope.metainfo import Trainers
from modelscope.trainers import build_trainer
from modelscope.msdatasets.audio.asr_dataset import ASRDataset

def modelscope_finetune(params):
    if not os.path.exists(params.output_dir):
        os.makedirs(params.output_dir, exist_ok=True)
    # dataset split ["train", "validation"]
    ds_dict = ASRDataset.load(params.data_path, namespace='speech_asr')
    kwargs = dict(
        model=params.model,
        data_dir=ds_dict,
        dataset_type=params.dataset_type,
        work_dir=params.output_dir,
        batch_bins=params.batch_bins,
        max_epoch=params.max_epoch,
        lr=params.lr)
    trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
    trainer.train()


if __name__ == '__main__':
    from funasr.utils.modelscope_param import modelscope_args
    params = modelscope_args(model="damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch")
    params.output_dir = "./checkpoint"                      # 模型保存路径
    params.data_path = "speech_asr_aishell1_trainsets"      # 数据路径，可以为modelscope中已上传数据，也可以是本地数据
    params.dataset_type = "small"                           # 小数据量设置small，若数据量大于1000小时，请使用large
    params.batch_bins = 2000                                # batch size，如果dataset_type="small"，batch_bins单位为fbank特征帧数，如果dataset_type="large"，batch_bins单位为毫秒，
    params.max_epoch = 50                                   # 最大训练轮数
    params.lr = 0.00005                                     # 设置学习率

    modelscope_finetune(params)

CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nproc_per_node 2 finetune.py <strong>></strong> log.txt 2<strong>></strong>&1

tree ./example_data/
./example_data/
├── validation
│   ├── text
│   └── wav.scp
└── train
    ├── text
    └── wav.scp
2 directories, 4 files

cat ./example_data/text
BAC009S0002W0122 而 对 楼 市 成 交 抑 制 作 用 最 大 的 限 购
BAC009S0002W0123 也 成 为 地 方 政 府 的 眼 中 钉
english_example_1 hello world
english_example_2 go swim 去 游 泳

cat ./example_data/wav.scp
BAC009S0002W0122 /mnt/data/wav/train/S0002/BAC009S0002W0122.wav
BAC009S0002W0123 /mnt/data/wav/train/S0002/BAC009S0002W0123.wav
english_example_1 /mnt/data/wav/train/S0002/english_example_1.wav
english_example_2 /mnt/data/wav/train/S0002/english_example_2.wav

pip install "modelscope[audio_asr]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip install --editable ./

cd egs_modelscope/paraformer/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch
python infer.py

cd egs_modelscope/paraformer/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch
python finetune.py

@inproceedings{gao2022paraformer,
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  author={Gao, Zhifu and Zhang, Shiliang and McLoughlin, Ian and Yan, Zhijie},
  booktitle={INTERSPEECH},
  year={2022}
}