方案概述

云上数据集成解决方案主要针对用户的数据所在的不同环境,

提供相应的数据集成通道,帮助用户针对自己的数据环境快速的将数据导入到大数据计算服务MaxCompute中。

本方案集中解决本地环境的本地数据库、本地日志,阿里云环境的ECS日志,

以及类似RDS、OSS、OTS、DRDS等的云数据库数据导入MaxCompute的问题,并提供相应的工具、方法支持。

数据在本地环境
数据在阿里云环境

本地数据库:

如果您需要:

本地文件:

如果您需要:

云环境数据库:

如果您需要:

云环境文件:

如果您需要:

数据同步——阿里云托管同步工具

阿里云托管同步工具是一款在线同步工具(付费产品),助您更高效地管理数据、完成数据入云

数据集成 CDP

数据集成(Data Integration),简称 CDP ,是阿里对外提供的稳定高效、弹性伸缩的数据同步平台。 为阿里云大数据计算引擎(包括MaxCompute、AnalyticDB、OSS)提供离线(批量)数据进出通道。

查看使用方法

数据同步——阿里云托管同步工具

大数据开发集成环境 Data IDE

大数据开发集成环境,简称 Data IDE ,拥有可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为您提供高效安全的离线数据开发环境。强大的Open API为开发者提供良好的再创作生态。

查看使用方法

数据同步——阿里云托管同步工具

日志服务 Log Service

日志服务(Log Service)简称 Log ,是针对日志类数据一站 式服务,在阿里经历大量大数据场景锤炼而成。用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能。 帮助提升运维、运营效率,建立DT时代海 量日志处理能力。

查看使用方法

数据同步——阿里云托管同步工具

数据同步——阿里云托管同步工具

阿里云托管同步工具是一款在线同步工具(付费产品),助您更高效地管理数据、完成数据入云

DataX

DataX 是阿里巴巴集团开源的离线数据同步工具,实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、AnalyticDB、HBase、OTS、MaxCompute 等各种异构数据源之间高效的数据同步功能。

查看使用方法

数据同步——阿里云托管同步工具

Apache Flume ODPS插件

Apache Flume 是一个可靠的分布式系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统。ODPS Sink是基于ODPS DataHub Service开发的Flume插件,可将Flume的Event数据导入ODPS。

查看使用方法

数据同步——阿里云托管同步工具

Fluentd ODPS插件

Fluentd 是一个日志收集系统,可定制输入输出到常用系统(如MongoDB, RDS, Mysql等)或直接用于Log收集,基于ODPS DataHub Service开发的Fluentd插件,可将其他系统日志数据利用DHS导入ODPS。

查看使用方法

数据同步——阿里云托管同步工具