每次多处理训练 Spacy 模型

青葱年少 2年前 nlp 216

原文标题 ：Training Spacy model per multiprocessing

我正在使用更新功能训练我的模型：

for batch in minibatch(TRAIN_DATA, size=10):
    for text, annotations in batch:
        doc = nlp.make_doc(text)
        example = Example.from_dict(doc, annotations)
        nlp.update([example], drop=0.35, sgd=optimizer, losses=losses)

本次训练只用了一个cpu核心，用spacy 3.2.3可以做些什么，在多处理方面进行训练？

据我所知，训练是迭代的，但我知道 spacy 有这个功能。使用管道时，可以定义进程数。但在训练中？

原文链接：https://stackoverflow.com//questions/71482961/training-spacy-model-per-multiprocessing

我来回复

mirArnold 评论

看起来，aab 是对的。这里是 Github Repo 的旧帖：https://github.com/explosion/spaCy/issues/3507

我没事。我尝试在 GPU 上对其进行训练以加快该过程。

2年前 0条评论

每次多处理训练 Spacy 模型

回复

相关问题