亚马逊云科技：借数智融合之力，驱动企业创新

原创
作者： 赵立京 2022-05-06 11:31:33

云计算 亚马逊云科技推出了“云、数、智三位一体”的数智融合服务，帮助全球数十万的用户通过利用大数据和AI技术助力业务发展。

数字化转型是千行百业的必然发展趋势，且已经进入到了向各行各业全流程、全环节整体渗透的时期。大数据和人工智能深度融合，即数智融合，成为了企业数字化转型历程中最核心、最重要的能力。

数智融合，顾名思义，其关键因素是大数据技术和机器学习技术。大数据技术所提供的能力是机器学习建模所需要的必然基础。同时，机器学习也能够为大数据技术提供更高的智能，为商业业务产生价值。所以从用户逻辑来看，大数据技术和机器学习技术本身互为因果。

众多企业在利用数智融合加速驱动企业创新的过程中，面临着一系列的挑战。亚马逊云科技依据多年的企业服务经验，将这些挑战总结为以下三点：

第一， 数据和机器学习分而治之，数据及技术孤岛制约敏捷迭代；

第二， 数据处理能力不足。在生产制造企业，机器学习帮助客户对产品售后维修需求进行预测，由被动响应变为主动规划。但由于不具备足够的大数据处理能力，模型开发成功后，不能够有效收集处理海量的运营数据，致使预测不准确，无法达到预期业务目标；

第三， 数据分析人员参与度低。现实情况经常是，模型在实验环节效果良好，但实际使用中却不尽人意，实验环境只是对真实环境的简单模拟，生产环境要复杂得多。

针对以上挑战，亚马逊云科技认为，企业应当在云中打造统一的数据基础底座，来实现大数据和机器学习的双剑合璧，为企业发展提供新动力。具体来说，企业应当首先建立统一融合的治理底座，如数据质量、数据权限、数据开发、数据工作流、可视化。其次，大数据和机器学习之间应该是高效充分的双向互动，互为支撑，互为因果，形成正向循环。

实现数智融合所需的三大核心能力

为了实现数智融合，企业需要构建若干核心能力。亚马逊云科技大中华区产品部总经理陈晓建将其总结为三点。

亚马逊云科技大中华区产品部总经理陈晓建

首先是统一数据共享，让数据资产化，打破数据孤岛。一个好的、合理的大数据和机器学习融合架构，要建立一个统一融合的数据底座，包括数据质量、权限、开发、可视化。其中，大数据和机器学习这两个技术不是孤立的，要实现二者高效、充分、双向互动，才能形成双向循环，真正实现数据融合。要实现这样的目标，必须要做好三项工作：一是打造统一融合的治理底座，避免大数据和AI为了同样的底座做重复的事情，增加复杂度，浪费资源成本。二是建立一个统一的数据采集的标准，统一的数据存储标准，质量权衡标准，能够让数据在不同系统间流动。如果只做数据打通，而不做完善的细粒度的权限控制，开发团队也不能放心的让数据自由地在不同业务系统间进行流转。三是统一开发和流程编排，从用户的角度来说，从数据采集的时刻开始到最后算法落地，为业务所用，端到端的开发流程编排必须都是统一的。

第二，为机器学习提供生产级的数据处理能力。一个算法要从实验走向实践，最关键的一步是数据处理能力，因为只有具备海量的数据处理能力，才能把算法真正打磨成生产级别的，对业务可用的算法。要具备这样的能力，首先要做的是“开放”，因为现实环境中，大部分数据都是异构的、多元的。底层大数据平台要能够对这些多元和异构的数据进行处理，因此，开放的引擎必不可少。其次，还需要灵活的平台，不仅能实现对海量数据的处理，同时为了满足生产的需求，能够根据业务的负载进行灵活的底层资源的收缩，即所谓云的弹性能力。三是需要优化的数据质量，除了算法本身要优化，还需要通过大数据的技术，进行采集、清洗、查询等能力，为机器学习提供高质量的数据源。

第三，能够通过智能数据分析，统一技术和业务的价值。这意味着研发和业务并不是两个割裂的，而是合作关系。AI机器学习能够丰富智能分析的场景，通过AI和机器学习可以更好发挥数据的价值。比如互联网用户推荐系统的用户画像，通过机器学习可以从表面原始的业务数据抽象出用户的标签和画像，供业务使用。很多企业的现状是，作为业务人员（使用者），很难真正影响到算法的开发。如何使业务人员能够通过自己平时使用的可视化工具，方便的调用算法能力，通过数据反向检验一下算法的效果，将极大提高智能数据分析的效率。更进一步，如果系统能力再强大一些，即使业务人员不懂算法，不会写代码，但是有数据和需求，就可以自己训练算法，而不是通过研发才能训练算法，这样效率就会更高了。

“云、数、智三位一体”的亚马逊云科技数智融合服务

针对以上挑战，亚马逊云科技推出了“云、数、智三位一体”的数智融合服务，帮助全球数十万的用户通过利用大数据和AI技术助力业务发展。

首先，亚马逊云科技能帮助客户构建统一的数据治理底座，实现大数据和机器学习的数据共享，数据权限的统一管控，以及两者统一的开发和流程编排。Amazon Lake Formation推出诸多新功能，实现了数据网格跨部门的数据资产共享，以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务，该服务基于多种专门构建的服务，如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce （Amazon EMR）、云数据仓库服务Amazon Redshift、Amazon SageMaker等，为大数据和机器学习提供统一的开发平台。

第二，机器学习项目成功的关键是对复杂的数据进行加工和准备。Amazon Athena能够对支持多种开源框架的大数据平台，包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源，对这些数据源进行联邦查询，快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka （Amazon MSK）和 Amazon EMR 为代表的无服务器分析能力，可以让客户无需配置、扩展或管理底层基础设施，即可轻松地处理任何规模的数据，为机器学习项目提供兼具性能和成本效益的特征数据准备。

第三，亚马逊云科技不断提供更加智能的数据分析服务，赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如，在日常分析工具中集成机器学习模型预测能力，其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML，可帮助用户使用熟悉的技术，甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务，让业务人员探索机器学习建模。

亚马逊云科技大中华区产品部技术专家团队总监王晓野表示，机器学习和大数据的融合不仅仅是技术能解决的问题，亚马逊云科技也坚持“授人以渔”，通过面向快速算法原型的数据实验室的应用科学家、面向生产精度可用的模型训练指导的机器学习解决方案实验室，以及提供端到端咨询及交付的专业服务团队，通过不同分工的专家，和客户肩并肩一起，帮助客户探索机器学习与大数据融合挑战时，共同学习优秀的企业在数据驱动转型成功路上宝贵的经验。