设为首页 加入收藏

TOP

Hadoop集群内lzo的安装与配置详解
2019-05-15 00:21:47 】 浏览:15
Tags:Hadoop 集群 lzo 安装 配置 详解
版权声明:IT资讯科技 https://blog.csdn.net/qq_38460284/article/details/90207253

操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-CDH3B4
安装lzo所需要软件包:gcc、ant、lzo、lzo编码/解码器,另外,还需要lzo-devel依赖
配置lzo的文件:core-site.xml、mapred-site.xml
大致步骤:
1)安装和更新gcc、ant
2)在各个节点安装lzo
3)安装lzo编码/解码器
4)修改配置文件,并同步各节点的配置文件
注:没有特别指出的话,所有操作都是在Namenode中进行的
一、lzo库安装:
1、gcc的安装:yum即可,记得同时更新lib*、glibc*、gcc*
2、ant的安装:
删除旧版本:yum remove ant
安装新版本:
wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz
tar zxvf apache-ant-1.8.2-bin.tar.gz

# vi /etc/profile
export ANT_HOME=/usr/local/apache-ant-1.8.2
export PATH=$PATH:$ANT_HOME/bin
source /etc/profile 使配置文件生效
lzo的安装
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
tar -zxvf lzo-2.04.tar.gz
cd lzo-2.04
./configure --enable-shared
make && make install

库文件被默认安装到了/usr/local/lib,我们需要进一步指定lzo库文件的路径,两个方法都可以:
1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台),或/usr/lib64(64位平台)
2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件,写入lzo库文件的路径,然后运行/sbin/ldconfig -v,使配置生效
在各个节点安装lzo:
Namenode和Datanode都要安装lzo!
所需软件包:gcc、ant、lzo-2.04.tar.gz、lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。
wget http://mirrors.axint.net/repos/RedHat/el5/en/x86_64/RPMS.dag/lzo2-2.02-3.el5.rf.x86_64.rpm
wget http://mirrors.axint.net/repos/redhat/el5/en/x86_64/RPMS.dag/lzo2-devel-2.02-3.el5.rf.x86_64.rpm
安装lzo2-2.02-3.el5.rf.x86_64.rpm、lzo2-devel-2.02-3.el5.rf.x86_64.rpm。
# rpm -ivh lzo2-2.02-3.el5.rf.x86_64.rpm
# rpm -ivh lzo2-devel-2.02-3.el5.rf.x86_64.rpm
lzo编码/解码器的安装
这里必须要说明:如果hadoop是cloudera版的,那么lzo编码/解码器就不要用google官方的那个!到这里下载:
https://github.com/kevinweil/hadoop-lzo
下载文件kevinweil-hadoop-lzo-23e8370.tar.gz
# tar zxvf kevinweil-hadoop-lzo-23e8370.tar.gz
# cd kevinweil-hadoop-lzo-23e8370
#export CFLAGS=-m64
#ant compile-native tar
编译成功后,还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下
# cp build/hadoop-lzo-0.4.13.jar /usr/local/hadoop/lib/
#tar -cBf - -C build/native . | tar -xBvf - -C /usr/local/hadoop/lib/native
# cd /usr/local/hadoop/lib/
# chown -R hadoop:hadoop native/
同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录
配置lzo:
1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性:
vi core-site.xml 添加配置
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
vi mapred-site.xml:
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>

<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native/Linux-amd64-64</value>
</property>

<property>
<name>mapreduce.map.output.compress.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
同步各节点的配置文件!
hadoop集群内测试lzo:
首先,安装lzop,生成一些lzo文件
wget http://www.lzop.org/download/lzop-1.03.tar.gz
tar -zxvf lzop-1.03
cd lzop-1.03
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
./configure
make && make install

压缩日志文件lzop -U -9 nginx.log
利用hive导入到hdfs中hive> load data local inpath '/home/log/nginx.log.lzo' overwrite into table nginxlog;
测试hive语句 hive>select count(1) from nginxlog;
如果出现错误Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available
删除$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jar
cd kevinweil-hadoop-lzo-23e8370/build/native/Linux-amd64-64/lib
cp * $HADOOP_HOME/lib/native/Linux-amd64-64
重启hadoop
测试hive语句即可成功执行

推荐阅读文章

大数据工程师在阿里面试流程是什么?

学习大数据需要具备怎么样基础?

年薪30K的大数据开发工程师的工作经验总结?


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HadoopHA3_hadoop高可用的配置文件 下一篇大数据Hadoop快速入门教程

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }