RestCloud 实时数据集成平台(ETL)是基于微服务架构完全自主研发和创新的新一代数据集成平台，产品的定位是为企业提供业务系统数据之间的集成以及异构数据源之间的数据传输于一体的一站式的数据处理平台，全Web化配置开箱即用， 多种异构数据源之间通过平台快速进行数据交换，快速帮助企业构建数据融合平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。 RestCloud 实时数据集成平台(ETL)通过可视化的拖、拉、拽只需单击几下即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能，系统从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越常见的开源ETL工具。 通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。

• 1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
• 2.专为解决大型企业的复杂数据集成场景而研发
• 3.支持完整的跨数据库事务控制，保证多个数据源传输数据高度一致性
• 4.支持多数据源之间数据流的合并、拆分、聚合等操作
• 5.支持超过40+数据源的链接包括国产数据库
• 6.支持自定义数据检查规则、质量规则、补全规则等可以实现复杂的数据集成需求
• 7.支持各种不同数据源之间数据类型的自动转换，极大提升集成流程的构建速度
• 8.全Web前后端分离架构,所有能力均发布为API可轻松对接第三方业务系统.
• 9.支持批流一体化处理，大幅提升数据的采集和同步时间

支持多种实时数据流的接入，支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入，实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。

提供Web化的实时数据传输监控平台，可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录， 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。 支持执行流程的动态回放功能，对于复杂的数据集成流程可以清析的看到数据的传输路径及时定位错误。

平台支持在MongoDB中存储所有源表到目标表之间的交换数据，可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控，同时支持使用MongoDB作为缓冲库来存储传输的数据，可以把生产系统中的 数据先行抽取到缓冲库中，再从缓冲库中加载到目标业务系统，可以最大程度减轻对生产系统的压力。

• 1.支持Redis读取写入
• 2.支持MongoDB读取写入
• 3.支持Elasticsearch读取写入
• 4.支持Hive读取写入
• 5.支持HBase读取写入
• 6.支持Kafka读取写入
• 7.随着产品版本的迭代更多数据源支持将不断加入

支持元数据管理以及元数据变更告警功能，通过元数据管理可以在线管理数据库的元数据并可以在线预览数据、当元数据发生变更时系统自动发送告警信息，支持元数据直接参与数据集成流程的读取和写入操作，通过元数据可以快速的查找引用的数据集成流程以及节点，对于梳理众多的复杂的数据集成流程提供 了很好的解决方案，全面优于不提供元数据管理功能的数据交换工具。

平台提供丰富的数据抽取、加载、清洗、运算、脱敏、行转列、列转行等组件，同时提供基于纯Java语法的自定义规则和算法(性能比基于JavaScript语法的脚本快几倍)，可以通过规则实现复杂的自定义业务逻辑处理。

在大数据量传输时如果传送到一定的数据量出错时系统支持断点续传功能,用户可以从断点位置继续传送未传送完成的数据，并可以全部重跑下游节点,支持手工调整断点位置。

支持任意复杂的Excel文件数据采集并可实时写入指定的数据库表中，支持对Excel文件的行、列拆分写入不同数据库表，支持Excel表单数据的提取写入数据库表，快速对企业的 Excel数据进行收集并进行入库分析并形成API发布，无需编码只需几步即可完成Excel文件数据的采集。

系统根据数据集成流程可以自动分析数据源、数据库表、数据库字段之间的血缘关系并形成拓朴图，可以清析的查看数据库表的上游以及下游关系。

在同等服务器和配置条件下数据传输性能均领先kettle、datax等开源数据ETL/ELT工具，系统采用自动分片多通道传输技术针对单表过亿的数据量也可快速完成传输。