spacy自然语言处理工具库–en_core_web_sm

spaCy 是自然语言处理(NLP)任务的必备库。spaCy 处理文本的过程是模块化的, 当调用 NLP 处理文本时,spaCy 首先将文本标记化以生成 Doc 对象,然后,依次在几个不同的组件中处理 Doc,这也称为 处理管道 (Pipeline)。语言模型默认的处理管道依次是:Token, Tagger、Parser、NER 等,每个管道组件返回已处理的 Doc,然后将其传递给下一个组件。

spacy 使用的语言模型是预先训练的统计模型,能够预测语言特征,对于英语,有:

  • en_core_web_sm:英语多任务 CNN,在 OntoNotes 上训练,大小为 11 MB
  • en_core_web_m:英语多任务 CNN,在 OntoNotes 上训练,并且使用 Common Crawl 上训练的 GLoVe 词嵌入,大小为 91 MB
  • en_core_web_lg:英语多任务 CNN,在 OntoNotes 上训练,并且使用 Common Crawl 上训练的 GLoVe 词嵌入,大小为 789 MB
  • en_core_web_trf:于 V3.0 新版本上发布的 Transformer-based pipelines 模型
# 下载spacy库,这里指定版本
pip install spacy==3.2.0

# 也可以不指定版本
pip install spacy


# 或者更新库
pip install spacy==x.x.x

OSError: [E050] Can’t find model ‘en_core_web_sm’. It doesn’t seem to be a shortcut link, a Python package or a valid path to a data directory.

这个报错说明没有相应的语言模型包。

运行如下命令安装 en_core_web_sm、zh_core_web_sm

结尾加上 –user 以管理员的身份运行,不如也可能不超过。

# English
python -m spacy download en_core_web_sm --user

# Chinese
python -m spacy download zh_core_web_sm --user

 但有时候,并不能下载成功,甚至报错,可以在github上找到相应下载网址下载

解决办法——从GitHub上下载

pip3 install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.2.0/en_core_web_sm-3.2.0.tar.gz

直接打开conda终端输入此命令!

值得一提的是!!!

spacy的版本需要和en_core_web_sm、zh_core_web_sm的版本相对应,否则也会报错。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
xiaoxingxing的头像xiaoxingxing管理团队
上一篇 2023年4月5日 下午8:42
下一篇 2023年4月5日

相关推荐