设为首页 加入收藏

TOP

Hadoop编译环境组件搭建
2019-04-14 12:44:31 】 浏览:22
Tags:Hadoop 编译 环境 组件 搭建
版权声明: https://blog.csdn.net/qq_25302531/article/details/80533197

上接小编另外一篇博客:Hadoop编译和部署

Requirements:

  • Unix System
  • JDK 1.7+
  • Maven 3.0 or later
  • Findbugs 1.3.9 (if running findbugs)
  • ProtocolBuffer 2.5.0

首先将需要的文件上传到/opt/software中,如需安装包的小伙伴请留言。


JDK1.7+安装

1、首先查看是否安装JDK(小编安装的Mini版本,没有JDK,本次安装版本信息:jdk-8u45-linux-x64.gz)

java -version

2、创建jdk解压保存的文件夹,解压jdk文件包

mkdir /usr/java
tar -xzvf jdk-8u45-linux-x64.gz -C /usr/java


tsize/400/fill/I0JBQkFCMA==/dissolve/70" alt="">

PS:请注意红框标注内容,用户和用户组非需要的,这个必须改成需要的,以免造成不必要的麻烦

3、更改用户和用户组权限

chown -R root:root jdk1.8.0_45

4、配置jdk环境变量(部署为全局变量)

vi /etc/profile

#java
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH

退出保存后
source /etc/profile

5、测试是否安装成功

java -version

安装成功

Maven 3.0 or later 安装(用于管理jar包的)

1、解压:apache-maven-3.3.9-bin.zip文件

unzip apache-maven-3.3.9-bin.zip

2、Hadoop编译的时候要下载jar包,其默认的存储目录如下命令

cd /opt/software/apache-maven-3.3.9/conf
ls
cat settings.xml 


  <!-- localRepository
   | The path to the local repository maven will use to store artifacts.
   |
   | Default: ${user.home}/.m2/repository
  <localRepository>/path/to/local/repo</localRepository>
  -->

默认的存储地址是家目录下的.m2文件,若自己设置只需要将

<localRepository>/path/to/local/repo</localRepository>

写到<! -->注释文档外面,然后修改地址即可。考虑到网络原因,Hadoop编译会有大量jar包,故事先提供了.m2文件,只需解压到家目录即可。

3、解压.m2文件到家目录

tar -xzvf .m2.tar.gz -C /root

4、配置Maven到全局环境变量

vi /etc/profile

PS:请注意PATH配置

5、测试是否成功

mvn --version

成功

Findbugs安装

1、解压文件:findbugs-1.3.9.zip(别忘了ll)

unzip findbugs-1.3.9.zip

2、环境变量配置

vi /etc/profile
添加
source /etc/profile

3、测试是否成功

findbugs -version

安装成功

ProtocolBuffer 安装

1、解压文件:protobuf-2.5.0.tar.gz

tar -xzvf protobuf-2.5.0.tar.gz

注意框内内容

2、修改用户和用户组权限

chown -R root:root protobuf-2.5.0

3、该软件的安装需要编译,故先用yum安装make和cmake

yum install -y gcc gcc-c++ make cmake

4、安装config文件

/opt/software/protobuf-2.5.0/configure  --prefix=/usr/local/protobuf

5、编译安装

make && make install
表示先运行make,make运行完后在运行make install

6、配置环境变量

vi /etc/profile

7、检测是否成功


安装成功

其他组件安装

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf 
恭喜你,组件安装结束,请完成Hadoop编译吧

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Invalid Hadoop Runtime specifie.. 下一篇Hadoop 分区案例(根据不同的值分..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }