RestCloud 实时数据集成平台(ETL)是基于微服务架构完全自主研发和创新的新一代数据集成平台，产品的定位是为企业提供业务系统数据之间的集成以及异构数据源之间的数据传输于一体的一站式的数据处理平台，全Web化配置开箱即用， 多种异构数据源之间通过平台快速进行数据交换，快速帮助企业构建数据融合平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。 RestCloud 实时数据集成平台(ETL)通过可视化的拖、拉、拽只需单击几下即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能，系统从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越常见的开源ETL工具。 通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。

RestCloud ETL数据集成平台的目标是帮助企业快速实现数据集成、数据采集、数据服务于一体的轻量级数据中台产品，通过可视化的组件拖拽实现快速的从数据采集、传输、转换、脱敏、运算到服务发布的全过程， 通过数据集成平台可以在多个业务系统之间实现复杂的数据分发以及推送、同时也支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级数据中台等场景， 同时RestCloud支持实时数据流的处理，可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。

• 1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
• 2.专为解决大型企业的复杂数据集成场景而研发
• 3.支持完整的跨数据库事务控制，保证多个数据源传输数据高度一致性
• 4.支持多数据源之间数据流的合并、拆分、聚合等操作
• 5.支持超过40+数据源的链接包括国产数据库
• 6.支持自定义数据检查规则、质量规则、补全规则等可以实现复杂的数据集成需求
• 7.支持各种不同数据源之间数据类型的自动转换，极大提升集成流程的构建速度
• 8.全Web前后端分离架构,所有能力均发布为API可轻松对接第三方业务系统.
• 9.支持批流一体化处理，大幅提升数据的采集和同步时间

支持多种实时数据流的接入，支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入，实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。

提供Web化的实时数据传输监控平台，可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录， 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。 支持执行流程的动态回放功能，对于复杂的数据集成流程可以清析的看到数据的传输路径及时定位错误。

平台支持在MongoDB中存储所有源表到目标表之间的交换数据，可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控，同时支持使用MongoDB作为缓冲库来存储传输的数据，可以把生产系统中的 数据先行抽取到缓冲库中，再从缓冲库中加载到目标业务系统，可以最大程度减轻对生产系统的压力。

平台提供了多种数据冲突解决方案，对于增量数据传输时也可以定义冲突解决方案，可以极大提升ETL流程的设计速度并可处理复杂的数据交换逻辑，除了行级别的数据冲突处理外同时支持字段极别的冲突处理，对于目标表中的数据 可以实现禁止更新、仅插入时更新字段、设定默认值等多种字段级的更新模式。

• 1.支持Redis读取写入
• 2.支持MongoDB读取写入
• 3.支持Elasticsearch读取写入
• 4.支持Hive读取写入
• 5.支持HBase读取写入
• 6.支持Kafka读取写入
• 7.随着产品版本的迭代更多数据源支持将不断加入

平台自带提供丰富的监控和统计数据同时可以通过Restful API快速接入第三方的大屏监控界面中，可监控流程每天的失败数量、失败的传输记录数据、 流程平均运行时间、流程插入成功数量、失败数量、更新数量、删除数量等多维度的监控指标，并支持自定义报表实现更为复杂的统计维度，真正实时掌控企业数据的交换和传输情况。

支持元数据管理以及元数据变更告警功能，通过元数据管理可以在线管理数据库的元数据并可以在线预览数据、当元数据发生变更时系统自动发送告警信息，支持元数据直接参与数据集成流程的读取和写入操作，通过元数据可以快速的查找引用的数据集成流程以及节点，对于梳理众多的复杂的数据集成流程提供 了很好的解决方案，全面优于不提供元数据管理功能的数据交换工具。

平台内置跨数据库事务控制功能，在同时写入多个不同业务系统的数据源时系统可以进行整体的事务控制，当有一个数据源写入失败时可以同时回滚所有数据库数据也支持只回滚单个数据源的数据。

平台提供丰富的数据抽取、加载、清洗、运算、脱敏、行转列、列转行等组件，同时提供基于纯Java语法的自定义规则和算法(性能比基于JavaScript语法的脚本快几倍)，可以通过规则实现复杂的自定义业务逻辑处理。

数据经过清洗、转换、运算后可以直接通过Restful API为前端表单及数据可视化提供数据服务接口，ETL数据流无需落盘就可以直接实时通过API提供数据服务，可以把txt,Excel等文件处理后实时提供数据服务 无需存储到数据库中，同时也提供API接口供第三方系统对ETL流程进行调度。

在大数据量传输时如果传送到一定的数据量出错时系统支持断点续传功能,用户可以从断点位置继续传送未传送完成的数据，并可以全部重跑下游节点,支持手工调整断点位置。

系统支持批量传送数据库表中的数据，在数据初始化时可以一次性传送多张表并可以在目标数据库中实现自动建表,支持手工调整断点位置。

支持任意复杂的Excel文件数据采集并可实时写入指定的数据库表中，支持对Excel文件的行、列拆分写入不同数据库表，支持Excel表单数据的提取写入数据库表，快速对企业的 Excel数据进行收集并进行入库分析并形成API发布，无需编码只需几步即可完成Excel文件数据的采集。

系统支持设备、机床、产线产生的各种数据进行实时自动采集，通过数据切分、转换、清洗后实时转存到数据库表中，RestCloud ETL能高速稳定运行对各种数据进行采集，发现数据有问题时能及时预警到钉钉、微信并通知相关人员处理脏数据.

系统根据数据集成流程可以自动分析数据源、数据库表、数据库字段之间的血缘关系并形成拓朴图，可以清析的查看数据库表的上游以及下游关系。

• 1.脏数据自动记录可随时查看并重传
• 2.源数据量与目标表数据量自动对比，异常时自动告警
• 3.支持实时对传输数据的质量进行检测并把脏数据进行下发整改
• 4.支持对存量数据质量的监测，能自动发现问题数据并记录原因后下发整改
• 5.支持对数据异常波动的监控，超过波动范围自动告警
• 6.支持对数据传输任务执行超时、执行错误、异常停止等的监测并告警
• 7.支持元数据变更监控，当元数据变更时能立即告警并找出可能影响的任务
• 8.支持自定义数据质量检测规则
• 9.可满足大型企业对主数据采集、分发、质量监控的复杂需求

通过实时数据集成平台不断的对数据进行采集运算后可直接对接到数据可视化大屏，脏数据可以直接被ETL过滤掉，使得数据大屏中可以呈现实时的高质量的数据图表实时反应企业设备以及业务运行情况。