设为首页 加入收藏

TOP

Hadoop伪分布式配置
2019-05-15 00:21:42 】 浏览:58
Tags:Hadoop 分布式 配置
版权声明:如侵权,请联系本人 https://blog.csdn.net/MySundays/article/details/90044307

1、配置安全组规则,开启服务器端口:

9000、8031、50070、8088,不建议修改hadoop内部指定的端口号

2、设置环境变量(把Hadoop 的Home目录添加到系统环境变量里面去)

vim ~/.bash_profile

在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:

HADOOP_HOME=/usr/local/hadoop

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

并生效环境变量:source ~/.bash_profile

查询服务器内部IP的命令:ip addr

3、安装配置如下:

(1)配置hadoop-env.sh

vim hadoop-env.sh

注释掉:#export JAVA_HOME=${JAVA_HOME}

增加:export JAVA_HOME

=/usr/share/jdk1.8

(可以忽略此演示步骤)

配置好了本地模式之后,需要通过内部提供的DEMO来测试是否安装成功

演示Demo:

存放地址:/usr/local/hadoop/share/hadoop/mapreduce

如果想了解到底内部提供了多少个Demo,那执行以下语句:

在mapreduce目录下执行:hadoop jar hadoop-mapreduce-examples-2.6.5.jar

(2)配置hdfs-site.xml

<!--配置HDFS的副本,冗余度-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<!--配置HDFS的权限-->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

(查询服务器内部IP的命令:ip addr)

(3)配置core-site.xml

<!--配置主机NameNode的主机地址-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://你的内部IP:9000</value>

</property>

<!--配置存放Datenode数据-->

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

(4)配置mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

(5)配置yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>你的内部IP </value>

</property>

<!--配置Nodename的执行方式-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

4、格式化NameNode

hdfs namenode –format

(注意:只需要格式化一次,若要重新格式化,先把(/usr/local/hadoop/tmp) tmp目录下的文件清空)

5、启动hadoop:start-all.sh

hdfs :存储数据

yarn:执行程序即计算

(关闭hadoop命令:stop-all.sh )

6. 访问:

(1)命令行jps

(2)JAVA API

(3)Web端

HDFS:http://服务器ip:50070

Yarn:http://服务器ip:8088

Jps命令:(六个节点)

格式化nodename时,出现:(把(/usr/local/hadoop/tmp) tmp目录下的文件清空,关闭hadoop(stop-all.sh),重新格式化,解决问题!!)

web端

Yarn:http://服务器ip:8088

HDFS:http://服务器ip:50070


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇大数据Hadoop快速入门教程 下一篇Hadoop科普文—常见的45个问题解答

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }