ML 模型在生产中面临的 3 大挑战

这些不应该被忽视。

很大一部分机器学习 (ML) 模型从未投入生产。在 Jupyter notebook 中创建模型是一回事，但将其部署到生产环境中并将其作为持续服务进行维护则是另一回事。这是一个涉及许多相互关联的步骤的过程，这些步骤可以归类为机器学习操作，MLOps。[0]

MLOps 是如此重要，以至于我认为它是数据科学的下一件大事，或者它已经是一件大事😊。为了通过机器学习产生长期的商业价值，我们需要从数据采集到模型监控都遵循 MLOps 原则。

在生产中维护 ML 模型存在一些挑战，需要解决并妥善处理，以使整个系统可靠且稳健。在本文中，我们将讨论其中的 3 个挑战。

1. No human intervention

ML 模型很有可能做出比我们更好的预测。他们比我们工作得更快、更具可扩展性。另一方面，ML 模型的一个缺点是它们没有常识。因此，ML 模型可能会产生不切实际的结果。

ML 模型的核心是训练数据。它们反映了训练数据中存在的结构和关系。 ML 模型在揭示数据中的依赖关系方面比我们好得多。然而，当他们遇到新事物时，他们可能会产生荒谬的结果。

由于生产中的机器学习系统可能没有人为干预，因此总是存在产生没有意义的结果的风险。

此类风险的影响因应用而异。在推荐引擎的情况下，它并不重要。但是，如果我们有一个自动提供供应变化的预测引擎，那么事情可能会出错。

这些风险不应被视为赤字。我们只需要记住它们。我们可以通过频繁地重新训练我们的模型、根据一些限制检查结果以及监控生产中的模型来克服这一挑战。

2. Data changes

世界不断变化。唯一不变的是变化本身。

生活中唯一不变的就是变化——赫拉克利特。

一切都随着世界而变化，数据也是如此。不可避免地会有以前看不见的数据点，我们希望我们的模型能够为它们产生结果。

考虑垃圾邮件检测模型。诈骗者改变他们的策略并创建新类型的垃圾邮件。未针对这些新示例进行训练的模型很可能无法捕捉到它们。这个概念被称为数据漂移，如果处理不当，可能会导致严重的问题。

影响模型准确性的另一个变化称为概念漂移。它发生在因变量和目标变量之间的关系发生变化时。可以在欺诈检测模型中观察到概念漂移的典型示例。如果过去未被归类为欺诈的交易现在可能是欺诈。

数据和概念漂移都可以通过实施稳健可靠的监测系统和反馈回路来处理。然后我们可以决定何时重新训练我们的模型。

3. Communication between stakeholders

构建机器学习系统需要不同的技能。一般来说，数据科学家、数据工程师、软件工程师、DevOps 工程师和主题专家参与机器学习生命周期。

主题专家与数据科学家合作，定义要通过机器学习解决的业务问题。他们设置了 KPI 来衡量模型的性能。

数据工程师的主要职责是数据采集和 ETL 操作。软件工程师和 DevOps 工程师处理 IT 相关任务。

角色和任务可能因公司而异。没有改变的是不同利益相关者之间需要强有力和有效的沟通才能使事情顺利进行。否则，我们最终会出现不必要的时间间隔，甚至可能导致项目失败。

ML 模型需要部署到生产环境中才能产生业务价值。这绝对不是一件容易的事。创建这样一个系统超出了数据科学家的技能。但是，了解与在生产中维护 ML 模型相关的风险并采取预防措施可以使事情变得更容易。

您可以成为 Medium 会员，以解锁对我的作品以及 Medium 其他内容的完全访问权限。如果您已经是，如果您想在我发布新文章时收到电子邮件，请不要忘记订阅。[0][1]

感谢您的阅读。如果您有任何反馈，请告诉我。