Hadoop数据表迁移到MaxCompute

本教程是一个MaxCompute零基础教程,在用户拥有hadoop集群以及拥有一定的hadoop数据开发经验基础上,结合阿里云ECS服务器,即可玩转阿里云数加平台以及该平台下大数据开发套件、Datax工具,实现数据从hadoop到MaxCompute。

购买MaxCompute 开通相关产品 开通相关产品
场景概述
查看大图

准备工作

1) 拥有hadoop集群。

2) 拥有一定的hadoop数据开发经验。

3) 拥有阿里云官网实名认证账号,并且创建好账号Access Key。

4) 购买了阿里云的ECS(Linux 系统),且该ECS上可以ping通hadoop的hdfs所在的机器网络。用户还需拥有管理员(root)帐号和密码。

教程任务

1) 数加上开通MaxCompute并创建项目,通过大数据开发套件创建MaxCompute目标表。

2) 大数据开发套件上配置资源组部署ECS机器。

3) 创建Hadoop数据迁移任务并进行配置、执行。

4) 校验MaxCompute数据。

使用产品
  • 大数据开发套件(Data IDE)

    大数据开发套件提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为您提供一个高效、安全的离线数据开发环境。

    免费
  • 大数据计算服务(MaxCompute)

    快速的解决用户海量数据计算问题, 有效降低企业成本,并保障数据安全。

实现方法

本页目录

    亲,您的浏览器版本太低,暂时无法加载显示

    请您升级到高版本的浏览器,或者切换成chrome浏览器进行查看

    常见问题
    • Q:为什么按照流程部署完毕了ecs,但界面还是显示“终止”?
      A :(1)如果是经典网络,请确认您注册使用的机器名称是真实的机器名,请使用命令到ecs上执行:hostname,返回的结果即为机器名称;不支持自定义名称; (2)如果是专有网络,请确认使用的是界面提供的命令查询到的uuid; (3)如果注册信息都是正确的,而且也是按照“执行初始化”的命令复制粘贴部署的,但还是“终止”,请将ecs上的文件/home/admin/alisatasknode/logs/alisatasknode.log这份文件转为txt格式,提工单反馈给我们;
    • Q:为什么安装ECS的时候,部署完成了,但是启动失败?
      A :请检查您的ECS系统是否有jdk1.6以上的环境;如果您是centos5.x的操作系统需要您自己安装jdk的版本以及python2.6.5以上的版本;
    相关场景推荐