数据科学迁移到云端的5个原因

作者：Piero Cinquegrana 2019-02-26 11:35:16

大数据

云计算 在对于一些行业领先厂商如何将数据用于工作进行调查分析之后表明，“笔记本电脑的数据科学”将很快走上恐龙一样的消亡之路。这是由于其效率低下，不能很好地进行协作，也无法产生最佳效果。以下是数据科学家应该放弃笔记本电脑或本地服务器，并将其业务迁移到云端的五个充分的理由。

在充斥着数据的世界中，数据科学家为企业产生洞察力提供帮助，并进行预测，以实现更明智的业务决策。通常，这些数据科学家是统计分析和数学建模方面的专家，并且精通编程语言，例如R或Python。

[[258236]]

但是，除少数大型企业外，大多数数据科学工作仍然在笔记本电脑或本地服务器上完成，导致流程低效，容易出错和延迟。在对于一些行业领先厂商如何将数据用于工作进行调查分析之后表明，“笔记本电脑的数据科学”将很快走上恐龙一样的消亡之路。这是由于其效率低下，不能很好地进行协作，也无法产生***效果。

以下是数据科学家应该放弃笔记本电脑或本地服务器，并将其业务迁移到云端的五个充分的理由。

1.数据科学是一项团队运动

算法和机器学习模型构成了企业高级分析和机器学习难题的一部分。数据科学家、数据工程师、机器学习工程师、数据分析师和公民数据科学家都需要在这些元素上进行协作，以便为业务决策提供数据驱动的见解。

当数据科学家在他们的笔记本电脑上构建模型时，他们会将数据工程师创建的数据集下载到他们的机器上，以构建和训练机器学习模型。有时他们会使用本地服务器进行构建和培训，但通常采用的是笔记本电脑。由于笔记本电脑和本地服务器的处理计算能力和内存有限，数据科学家必须对数据集进行采样，以创建更小、更易于管理的数据集。虽然这些样本集可以帮助实现项目，但它们在数据科学生命周期的后期阶段会产生许多问题。

数据过时也成为一个问题。有了这些数据的本地副本，数据科学家们可能会根据不准确的全局快照来构建预测。而在核心的云计算使用更大、更具代表性的样本可以缓解这种担忧。

2.大数据胜过智能算法

最近，人们对人工智能和机器学习的兴趣激增，这是由于能够在大量结构化、非结构化和半结构化数据上快速处理和迭代(训练和调整机器学习模型)。几乎在所有情况下，机器学习都得益于在更大、更具代表性的样本集上进行训练。

企业可以通过将半结构化交互数据(网站交互日志、事件数据)和非结构化数据(电子邮件文本、在线评论文本)与结构化交易数据(ERP、CRM、订单管理系统)相结合来解锁强大的用例。从机器学习中释放业务价值的关键是拥有结合事务和交互数据的大型数据集。随着规模的扩大，数据通常需要在云端或大型内部部署集群中进行处理。将笔记本电脑添加到混合部署中会在整个流程中造成瓶颈，并导致延迟。

3.数据科学需要灵活的基础设施

如今，数据科学家可以利用许多开源机器学习框架，如R、SciKit Learn、Spark MLlib、TensorFlow、MXnet和CNTK。但是，在笔记本电脑或本地服务器上管理这些框架的基础设施、配置和环境非常麻烦。管理基础设施的额外开销会占用核心处理数据科学活动的时间。

在软件即服务模式中，大部分开销都会消失。云计算的基于使用情况的定价模型对于机器学习工作负载很有效，而机器学习工作负载在本质上是突发的。云计算还使探索不同的机器学习框架变得更容易，云计算供应商提供模型托管和部署选项。此外，包括Amazon Web Services、Microsoft Azure和Google Cloud在内的云计算服务提供商提供智能功能作为服务。这就减少了将这些功能集成到新产品或应用程序中的障碍。

4.中央存储库可提高数据准确性和模型可审计性

机器学习模型的预测仅与用于训练它们的数据一样准确和具有代表性。人工智能和机器学习的每一种表现都可以通过提供高质量的数据来实现。例如，提供转向指示的应用程序已存在数十年，但由于数据量较大，如今更加准确。

因此，毫不奇怪，人工智能机器学习操作的重要部分围绕数据物流展开，即数据集的收集、标记、分类和管理，反映了人们试图通过机器学习建模的现实世界。对于拥有大量数据用户的企业而言，数据物流已经很复杂。当数据集的多个本地副本分散在这些用户中时，问题才会变得更加严重。

此外，对安全和隐私的担忧日益成为关注的焦点。企业数据流程需要符合数据隐私和安全法规。所有数据集的集中存储库不仅简化了数据的管理和治理，还确保了数据一致性和模型可审计性。

5.更快的数据科学更有利于业务

所有上述原因都会导致基于笔记本电脑的数据科学延迟实现价值。在笔记本电脑或本地服务器上工作的数据科学家的典型工作流程中，***步是对数据进行采样，并手动将数据集下载到本地系统，或通过ODBC驱动程序连接到数据库。第二步是安装所有必需的软件工具和软件包，如RStudio、Jupyter Notebook、Anaconda发行版，机器学习库和语言版本，如R、Python和Java。

当模型准备好部署到生产中时，数据科学家将其交给机器学习工程师。然后，机器学习工程师必须将代码转换为生产语言(如Java、Scala或C ++)，或者至少优化代码并与应用程序的其余部分集成。代码优化包括将任何数据查询重写为ETL作业，分析代码以查找任何瓶颈，以及添加日志记录，、容错和其他生产级功能。

这些步骤中的每一步都存在可能导致延迟的瓶颈。例如，开发和生产环境之间的软件或软件包版本的不一致可能导致部署问题。在Windows或Mac环境中构建的代码在部署到Linux时肯定会中断。

在笔记本电脑上运行数据科学的所有上述问题都会导致业务价值的损失。数据科学涉及数据准备、模型构建和模型验证中的资源密集型任务。数据科学家通常会重复数百次尝试不同的特性、算法和模型规范，然后才能找到他们要解决的业务问题的正确模型。这些迭代可能需要大量的时间。围绕基础设施和环境管理、部署和协作施加瓶颈可能进一步延迟企业实现价值的时间。

依靠笔记本电脑或本地服务器的数据科学家们在容易入门和易于扩展和生产电离机器学习模型之间做出了一个不明智的权衡和选择。虽然在使用笔记本电脑或本地服务器时，数据科学团队的运行速度更快，但云计算平台提供了更大的长期优势，其中包括***制的计算能力和存储、更容易的协作、更简单的基础设施管理和数据治理，最重要的是，生产时间更快。

在云端开始使用数据科学和机器学习的更快和更具成本效益的方法是使用基于云计算的数据科学和机器学习平台。至少在这个用例中，笔记本电脑的未来发展是有限的。