数据科学家每天面临的挑战

数据科学和机器学习是目前互联网上的热门术语，并且趋势正在增长。随着各种格式的大量数据，公司越来越依赖数据科学家、机器学习工程师和软件开发人员来自动化各种日常任务的流程，并提高短期和长期运营的生产力和效率-条款。此外，数据科学家和机器学习工程师的薪水也随着良好的薪酬和股票收益而进一步增加。

但是，还应该考虑到，数据科学家在工作中经常面临很多挑战，从数据提取到大规模部署最佳超参数调整模型。因此，了解这些挑战并学习如何应对这些挑战可能会对以更少的努力轻松完成工作的方式产生重大影响。下面重点介绍了数据科学家在工作中面临的一些挑战，以及一些应对这些挑战的技巧和策略。

数据以各种格式随处可见，例如文本、视频、音频、图像和网站。根据seedscientific.com 提供的估计，到2020 年初，全球可用数据量达到惊人的44 zettabytes。今年这个数字甚至更高，未来也将趋于增长。有了这些庞大的信息，这意味着通过分析趋势和了解预测来充分利用它对公司来说很方便，这样他们就可以采取适当的步骤来确保他们朝着正确的方向前进并赚取利润.

在查看了下面详述的挑战之后，数据科学家可以收集应对挑战并为公司做出有用贡献所需的所有工具和资源。

寻找正确的数据

拥有大量数据的挑战在于找到团队可以使用的正确数据，以便他们从中生成有价值的模式和见解。重要的是要问一些问题，例如谁应该得到什么数据，以及是否应该有恒定的数据流用于分析，或者数据是否是固定的。提出这些有趣的问题可以简化数据科学工作流程的任务，同时设计系统不那么乏味且易于遵循。

可能存在包含大量异常值、缺失值或不准确信息的数据，这些信息会影响机器学习模型的性能。因此，对数据进行预处理也很重要，这样模型才能以最佳和有效的方式执行，同时也能很好地提高它们的性能。

Data Preparation

数据科学家必须考虑的挑战之一是准备大量数据并使其对团队的其他成员可访问和可解释，同时提供有用的见解和模式。预处理数据还有助于提高其可读性，以便团队中的其他成员可以查看数据中的特征。在某些情况下，数据中的各种特征可能存在异常值，必须将其视为并非所有机器学习模型都对它们具有鲁棒性。除此之外，还可能存在包含缺失值或不正确值的特征，必须对其进行识别，以免它们降低准备在生产中部署的 ML 模型的性能。所有这些事情都可以在探索性数据分析 (EDA) 的帮助下识别出来，这通常是处理大量数据时机器学习的第一步。因此，最初必须遵循此步骤，以确保我们分别从模型中获得最佳结果。

选择正确的性能指标

由于机器学习中有大量可用的指标，因此可能会陷入循环而无法确定可用于评估的最佳工具或指标。对于分类问题，我们有流行的指标，如准确率、精度、召回率和 f1 分数等。

对于回归任务，我们必须考虑其他指标，例如均方误差或平均绝对误差。对于时间序列问题（也主要是回归任务），我们采用其他指标，例如平均绝对百分比误差 (MAPE) 或均方根误差。因此，选择正确的指标可能是数据科学家或机器学习工程师必须应对的挑战，以提高生产力并确保公司通过这种分析获得最佳结果。

Deployment

在获取数据并对其进行预处理并确保它在交叉验证数据上表现良好之后，现在是部署它并将其投入生产的时候了。毕竟，如果模型只是给出正确的预测，而不显示测试数据或以前未见过的数据的结果，那将是没有用的。因此，还应考虑在生产中部署模型。

有时，在尝试实时部署模型时，还应考虑用于运行这些模型的基础设施。如果我们想要一个具有互联网应用程序中流行用途之一的低延迟系统，那么选择能够快速给出结果的 ML 模型可能是一件可以考虑的好事。还有其他系统的延迟要求可能不那么严格。一些应用程序涉及 Netflix 电影推荐系统。在这个系统中，并不总是需要在很短的时间内给出建议。该模型可能需要一两天的时间来从感兴趣的特定用户以及其他用户那里收集更多见解，然后才能提出可靠的建议。因此，在部署之前考虑手头的业务问题是必要的。

Performance Monitoring

作为机器学习工程师，监控生产中模型的性能非常重要。在延迟、效率和项目范围方面，总是有改进的余地。也可能存在模型功能失调或基于新数据产生偏差结果的情况。因此，对模型进行持续监控和再训练可能是机器学习工程师必须应对的挑战之一。

降低数据的维度也是监控系统性能的一个很好的步骤，并根据 ML 问题是分类问题还是回归问题来查看准确性或均方误差是否大幅降低。

Conclusion

总而言之，我们已经了解了如何使用机器学习以及与机器学习工作流程相关的挑战。看看这些挑战，数据科学家可以确保他们拥有正确的工具和资源来应对这些挑战，并为公司提供有价值的见解。

如果您想进一步了解我的工作，以下是我们可以联系的详细信息，您也可以查看我的工作。谢谢。

GitHub：https://github.com/suhasmaddali[0]

领英：https://www.linkedin.com/in/suhas-maddali/[0]

脸书：https://www.facebook.com/suhas.maddali[0]