Kafka在保险行业中的应用案例

译文
作者：陈峻 2021-08-16 09:00:00

开发

前端

云计算

Kafka 本文将从探讨事件流的各种用例和架构出发，通过介绍来自Generali、Centene、Mobiliar、Humana、freeyou和Tesla的真实案例，展示保险行业对于相关数据的创新式集成和实时流处理。

【51CTO.com快译】Apache Kafka的出现，改变了许多企业重新思考和处置数据的方式。它让包括人寿、医疗、旅行、车辆等保险行业，能够更加高效地使用各类动态数据。本文将从探讨事件流的各种用例和架构出发，通过介绍来自Generali、Centene、Mobiliar、Humana、freeyou和Tesla的真实案例，展示保险行业对于相关数据的创新式集成和实时流处理。

保险业的数字化转型

长期以来，大多数保险公司都面临着如下方面的显著挑战：

• 市场环境极具挑战。
• 业务发展止步不前。
• 监管压力持续增加。
• 客户期望不断变化。
• 老旧应用阻碍发展。
• 来自创新保险科技公司的新兴竞争。
• 来自其他新增保险垂直行业的新兴竞争。

为了避免成为下一个诺基亚(手机领域)、柯达(相机领域)或百视达(BlockBuster，视频租赁行业)，传统保险公司需要在如下方面实现战略转型和创新。

• 包括了：审查、调查、调整、汇款、以及拒赔等常规处理需求。
• 通过利用带有历史数据的、已训练好的分析模型，实施索赔欺诈检测。
• 采用全渠道客户交互，包括：自助式服务门户、以及支持自然语言处理(NLP)的自动化聊天机器人工具。
• 基于实验室测试、生物特征数据、索赔数据、患者健康数据(当然必须遵循特定国家/地区的法律)的风险预测。

在上述方面，我们可以使用机器学习和深度学习的方式，使得各种手动且易错过程(如文档和文本处理)，实现自动化和实时数据处理的转变。

棕地集成的必要性

传统保险公司通常从棕地集成(Brownfield Integration)开始，构建新的用例。该集成往往涉及到遗留系统与现代化应用基础设施的整合，以及数据中心与公/私有云原生基础设施之间的数据复制。常见的此类集成场景包括：在传统中间件中使用MQ、ETL、ESB、以及API工具。而Kafka恰恰是对这些中间件工具的有力补充：

您可以从如下两篇博文，来深入了解Kafka与中间件、以及API的关系：

• 卡夫卡和传统中间件，是敌还是友?
•  Apache Kafka与API管理、以及API网关

保险科技(Insurtechs)公司的应用

不同于传统的保险公司，新兴的保险科技的一项巨大优势在于：他们无需与遗留的应用、以及单体架构相集成，而完全可以从头开始新的应用程序。他们既无需集成旧的系统协议和API，又无需传统的中间件。也就是说，系统里并不存在诸如：Cobol、EDI或SAP BAPI/iDoc等单一或专有接口。在此类场景中，Kafka能够通过开放接口和实时功能，让新的应用程序具有敏捷性、可扩展性、以及灵活性。

下图便是使用Kafka生态系统，进行索赔处理和欺诈检测的事件流的架构示例。Apache Kafka的使用，可以协助为保险的索赔处理和欺诈检测，做出实时决策。

Kafka在保险行业的六大部署实例

1. Generali：以Kafka作为集成平台

Generali是全球十大保险公司之一。其General瑞士的数字化转型始于将Confluent 作为战略整合平台，集成了数百个遗留系统(如关系型数据库等)。在流程上，变更数据捕获 (Change Data Capture，CDC)会将各种变更，实时地推送到作为数据中枢和集成平台的Kafka处，以便其他实时与批处理应用程序，能够进一步使用和处理这些事件。

Kafka凭借着其独特的优势，能够让系统内所有的应用程序都相互解耦。而这对于传统的消息传递(MQ)系统、或SOAP/REST等Web服务，则无法实现真正​​的解耦和域驱动设计(domain-driven design，DDD)。

Generali云原生架构的设计原则

如下图所示，Generali的集成平台架构利用了Kubernetes、Apache Kafka和变更数据捕获，在云原生基础设施中提供对于事件流的支持。其关键性设计原则包括了：敏捷性、可扩展性、云治理、以及数据与事件处理。

而如下有关集成的逻辑图则展示了Generali的可扩展式微服务架构。其流式ETL过程包括了数据集成、以及数据处理的解耦环境：

2. Centene的实时大规模集成和数据处理

Centene是美国最大的医疗补助和保险管理护理的提供商。作为一家为政府资助和私人医疗保险提供保健计划的中介，该医疗保险机构的企业愿景是“逐个改变社区健康”。在业务增长的过程中，Centene需要通过一个可扩展且可靠的数据集成平台，来处理各种并购。据此，Centene看中了Kafka的如下能力：

• 高度可扩展性。
• 高度自治和解耦。
• 高度可用性和数据弹性。
• 实时数据传输。
• 复杂的流处理能力。

在架构上，Centene使用Kafka来进行数据集成和编排。如下图所示，传统数据库、MongoDB、以及应用程序和API，以实时、批处理和请求响应的方式，对数据实施大规模的集成和实时处理。

3. Swiss Mobiliar的解耦和编排

Swiss Mobiliar(又名 Die Mobiliar)是瑞士历史上最为悠久的私人保险公司。它用到的带有Kafka事件流支持的各种用例包括：

• 将Orchestrator应用用于跟踪计费流程的状态。
• 将Kafka作为数据库，将Kafka Streams用于数据处理。
• 通过各种跨合约和重新计算的方式，实现复杂的状态聚合。
• 持续实时监控。

如下架构显示了应用程序和事件编排的解耦：

此外，您也可以通过查看Mobiliar和Spoud网络会议的链接，以进一步了解其如何使用Kafka的更多细节。

4. Humana的实时集成和分析

Humana Inc.是一家以营利为目的的美国健康保险公司。2020年，它在财富500强榜单中位列第52位。Humana通过构建一个互操作性的平台，实现了利用Kafka来进行实时集成和分析。其中包括：

• 以消费者为中心。
• 健康计划的隐蔽性。
• 供应商的隐蔽性。
• 云端的扩展性和鲁棒性。
• 事件的驱动和实时性。

凭借着Kafka的集成能力，该平台通过捕获用户与支持IBM Watson AI平台之间的对话流，使用深度学习、NLP实现了：

• 开放式与标准化的工作流集成。
• 实时的、事件驱动式的患者交互。
• 高度的可扩展性。

5. Freeyou的状态流分析

Freeyou是一家汽车保险类科技公司。它提供了出色的用户体验，以及后端实时化的价格自动调整。Freeyou的流处理与分析等关键策略，都是由Kafka和ksqlDB提供的商业模式所支持的。下图展示了Kafka和KQL在定价引擎、重新计算模块、以及在启用流分析中的逻辑结构：

6. 特斯拉也是汽车保险公司

如今，许多车险公司都会利用行车数据，来计算保险的价格，进而提供更好的保险服务。而联网汽车和V2X(Vehicle to X)的集成，已经成为了新的商业模式。近年来，特斯拉也开展了汽车保险类业务。目前，它已经建立了一个基于Kafka的数据平台基础设施，并每天支持着数百万台设备和数万亿个数据点。下图是特斯拉在2019年的Kafka峰会上展示的其使用Kafka的演进过程。

通过创建实时的集成管道，Kafka给特斯拉带来了如下优势：

• 从人类专家驱动方式转化为自动化的大数据与机器学习模式
• 处理各种来自驾驶员行为、车辆技术性能(包括摄像头、传感器等)等实时的远程信息与数据
• 更好地评估事故的风险、以及车辆维修的成本
• 通过诸如：自动驾驶、稳定控制、防盗系统、防弹钢材料等新技术，降低风险

如果您想进一步了解Kafka事件流在下一代保险平台的组成与应用，请参见–https://www.slideshare.net/KaiWaehner/apache-kafka-in-the-insurance-industry-249136708。

小结

由上文提到的六大保险科技公司的成功部署案例可知，从边缘部署到多云场景，无处不在的Kafka、及其生态系统通过支持大规模的实时数据处理，真正地解耦了那些单体的遗留系统，并实现了与云原生基础设施的良好集成。如果您对低延迟用例、用户体验、以及系统架构有着本行业特定需求的话，不妨也试试Kafka消息与数据处理模型吧。

原文标题：Apache Kafka in the Insurance Industry，作者：Kai Wähner

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】