buzz基于whisper的客户端,可以优先尝试,支持Mac, Windows和Linux
https://github.com/chidiwilliams/buzzhttps://github.com/chidiwilliams/buzz
- whisper是OpenAI 发布的一个的神经网络,主要用于语音识别,一时兴起就想玩一玩,下面是它的github链接(安装时需要全局代理才比较快)
GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak SupervisionRobust Speech Recognition via Large-Scale Weak Supervision – GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervisionhttps://github.com/openai/whisper
注:
pip install git+https://github.com/openai/whisper.git
等价于下载压缩包后再
python setup.py install --user
官方给了个一键pip命令,优先使用这个命令:
pip install -U openai-whisper
- 官方给出的所需配置prerequisite如下(我使用python3.8.9也行)
python3.9.9
pyTorch1.10.1
ffmpeg
我本身装有ffmpeg,难点就在于CUDA的安装和pyTorch的安装,这两花了我两小时。
- 首先是CUDA的安装,网上推荐的都是11.3,但我安装的是11.4,依旧能用
安装详情请参考下面这篇文章,安装到CUDA即可,不用安装CUDNN,环境变量问题比较麻烦,耐心点就好了Win10安装CUDA_RunAtWorld的博客-CSDN博客_windows安装cuda目录安装Nvidia显卡驱动安装Tookit和CuDNN前言安装工具的准备CUDA 安装与配置过程cuDNN配置安装PyTorch卸载CUDA1.前言2.卸载开始参考安装Nvidia显卡驱动安装Nvidia显卡驱动前可以先检查Nvidia显卡驱动是否已安装。搜索 Nvidia控制面板 或 Nvidia Control Panel可以看到当前已经安装的显卡驱动及版本如需安装显卡驱动,在官方驱动下载网站找到自己的显卡型号对应的驱动下载并安装https://blog.csdn.net/RunAtWorld/article/details/124282176
- pyTorch1.10.1的安装直接在命令行输入下面的命令即可
pip --trusted-host pypi.tuna.tsinghua.edu.cn install torch==1.10.1+cu102 torchvision==0.11.2+cu102 torchaudio==0.10.1 -f https://download.pytorch.org/whl/torch_stable.html
whisper运行实际效果, 以向晚大魔王录播文件为例,用体积最小运行速度最快的tiny模式
whisper D:/1.mp4 --model tiny --language Chinese
可以看出识别效果还是挺不错的,但由于追求速度,某些音相近的会被识别错误,如
- 团布->团播
- 呼唤->互换
- 出大了一->出道了
- 养成血->养成系
- 搭->的
可惜我的显卡带不动更大的模型了,以后有机会再尝试一下
文章出处登录后可见!