设为首页 加入收藏

TOP

CentOS安装Hadoop单机版
2019-04-18 00:38:31 】 浏览:56
Tags:CentOS 安装 Hadoop 单机版
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lu1171901273/article/details/86518494

1、首先安装jdk

下载jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s

放到/usr/local目录下

解压jdk,

tar -zxvfjdk-7u45-linux-x64.tar.gz

配置环境变量 vim /etc/profile 在文件末尾加上

JAVA_HOME=/usr/local/jdk1.7.0_45
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量配置 source /etc/profile

测试jdk安装是否成功,显示如下截图代表成功java -version

2、安装hadoop2.9.2 下载hadoop2.9.2 地址http://mirrors.hust.edu.cn/apache/hadoop/common/

放到 /usr/local目录下

解压 tar -zxvf hadoop-2.9.2.tar.gz 查看 ll

配置hadoop环境变量 vim /etc/profile 添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH

重新刷新配置source /etc/profile

查看版本 hadoop version

配置几个配置文件,路径是 cd /usr/local/hadoop-2.9.2/etc/hadoop/

vim core-site.xml 添加如下配置

<property>
<name>fs.defaultFS</name>
<!-- 这里填的是你自己的ip,端口默认-->
<value>hdfs://192.168.124.144:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 这里填的是你自定义的hadoop工作的目录,端口默认-->
<value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
<name>hadoop.native.lib</name>
<value>false</value>
<description>Should native hadoop libraries, if present, be used.
</description>
</property>

vim hadoop-env.sh 配置成你自己的jdk安装路径

vim hdfs-site.xml 添加如下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.secondary.http.address</name>

<!--这里是你自己的ip,端口默认-->
<value>192.168.124.144:50090</value>
</property>

复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

vim mapred-site.xml 添加如下配置

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置yarn-site.xml

vim yarn-site.xml 添加如下配置

<property>
<name>yarn.resourcemanager.hostname</name>
<!-- 自己的ip端口默认 -->
<value>192.168.124.144</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

配置好之后切换到sbin目录下

cd /usr/local/hadoop-2.9.2/sbin/ 查看命令 ll

格式化hadoop文件格式,执行命令 hadoopnamenode -format,成功之后启动

执行启动所有命令./start-all.sh

没启动一个进程需要输入密码,可以通过配置ssh来解决,就不需要输入了,暂时配置

使用 jps 查看进程,能看到这些进程证明启动成功了,

也可以通过网页来查看 localhost:50070

我用的是虚拟机安装的,在里面访问的地址,没有问题,如果想在外面访问,需要关闭防火墙

关闭防火墙的方法为:
1. 永久性生效
开启:chkconfig iptables on
关闭:chkconfig iptables off
2. 即时生效,重启后失效
开启:service iptables start
关闭:service iptables stop

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop小程序测试方法 下一篇Hadoop 的安全机制

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目