设为首页 加入收藏

TOP

datax测试 读mysql 写hdfs
2018-11-29 16:19:48 】 浏览:176
Tags:datax 测试 mysql hdfs
版权声明:更多信息请访问comecheer.com https://blog.csdn.net/moxpeter/article/details/7635540

安装配置ant:下载

解压后配置环境变量ANT_HOME 同时将ANT_HOME/bin添加到PATH


安装配置mysql\

yum install mysql-server,安装完成后执行mysqladmin -u root password 'root';

grant all privileges on *.* to peter@'localhost' identified by 'peter' with grant option;

create database xdata;

use xdata;

create table test_datax(user_id int,user_name varchar(30));

insert into test_datax values(111, 'peterlee');

insert into test_datax values(111, 'peterlee');

insert into test_datax values(111, 'peterlee');



安装配置hadoop 下载

配置core-site.xml hdfs-site.xml mapred-site.xml(最基本配置,网上一search一大把)


安装编译datax

从淘宝的开源svn上checkout一份代码

svn co http://code.taobao.org/svn/datax/trunkdatax

用当前系统hadoop中的hadoop-core-xxxx.jar 替换下面的jar包


在datax/rpm下面有spec文件,rpm打包的配置文件

rpmbuild --ba XXXXX.spec (例如,t_dp_datax_engine.spec)

按照datax官方编译文档安装

安装完成后

在datax/bin目录下执行 python datax.py -e true 生成一个job配置文件 XXXXXXXXXXXXXX.xml

ptyhon datax.py /home/peter/datax/jobs/XXXXXXXXXXX.xml



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇四、HDFS中NameNode的启动过程 下一篇使用python中的pyhdfs连接HDFS进..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目