设为首页 加入收藏

TOP

史上最详细的Hadoop环境搭建(三)
2019-05-15 00:25:09 【大 中 小】 浏览:383次
Tags：史上最 详细 Hadoop 环境 搭建

第三部分：Hadoop伪分布式模式安装

第六步、伪分布式Hadoop部署过程

十三、Hadoop所用的用户设置

1、 创建一个名字为hadoop的普通用户

  1. [root@bigdata-senior01 ~]# useradd hadoop
  2. [root@bigdata-senior01 ~]# passwd hadoop
  • 1
  • 2

2、 给hadoop用户sudo权限

[root@bigdata-senior01 ~]# vim /etc/sudoers
  • 1

设置权限，学习环境可以将hadoop用户的权限设置的大一些，但是生产环境一定要注意普通用户的权限限制。

  1. root    ALL=(ALL)       ALL
  2. hadoop ALL=(root) NOPASSWD:ALL
  • 1
  • 2

注意：如果root用户无权修改sudoers文件，先手动为root用户添加写权限。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers
  • 1

3、 切换到hadoop用户

  1. [root@bigdata-senior01 ~]# su - hadoop
  2. [hadoop@bigdata-senior01 ~]$
  • 1
  • 2

4、 创建存放hadoop文件的目录

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules
  • 1

5、 将hadoop文件夹的所有者指定为hadoop用户

如果存放hadoop的目录的所有者不是hadoop，之后hadoop运行中可能会有权限问题，那么就讲所有者改为hadoop。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
  • 1

十四、解压Hadoop目录文件

1、 复制hadoop-2.5.0.tar.gz到/opt/modules目录下。

2、 解压hadoop-2.5.0.tar.gz

  1. [hadoop@bigdata-senior01 ~]# cd /opt/modules
  2. [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
  • 1
  • 2

十五、配置Hadoop

1、 配置Hadoop环境变量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
  • 1

追加配置：

  1. export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
  2. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  • 1
  • 2

执行：source /etc/profile 使得配置生效

验证HADOOP_HOME参数：

  1. [hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
  2. /opt/modules/hadoop-2.5.0
  • 1
  • 2

2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
  • 1
  1. 修改JAVA_HOME参数为：
  2. export JAVA_HOME="/opt/modules/jdk1.7.0_67"
  • 1
  • 2

3、 配置core-site.xml

enter image description here

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

（1） fs.defaultFS参数配置的是HDFS的地址。

  1. <property>
  2. <name>fs.defaultFS</name>
  3. <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
  4. </property>
  • 1
  • 2
  • 3
  • 4

（2）hadoop.tmp.dir配置的是Hadoop临时目录，比如HDFS的NameNode数据默认都存放这个目录下，查看*-default.xml等默认配置文件，就可以看到很多依赖${hadoop.tmp.dir}的配置。

默认的hadoop.tmp.dir是/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下，如果操作系统重启了，系统会清空/tmp目录下的东西，导致NameNode元数据丢失，是个非常严重的问题，所有我们应该修改这个路径。

  • 创建临时目录：
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
  • 1
  • 将临时目录的所有者修改为hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp
  • 1
  • 修改hadoop.tmp.dir
  1.  <property>
  2.    <name>hadoop.tmp.dir</name>
  3.     <value>/opt/data/tmp</value>
  4.   </property>
  • 1
  • 2
  • 3
  • 4

十六、配置、格式化、启动HDFS

1、 配置hdfs-site.xml

enter image description here

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
  • 1
  1.     <property>
  2.        <name>dfs.replication</name>
  3.        <value>1</value>
  4.     </property>
  • 1
  • 2
  • 3
  • 4

dfs.replication配置的是HDFS存储时的备份数量，因为这里是伪分布式环境只有一个节点，所以这里设置为1。

2、 格式化HDFS

enter image description here

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
  • 1

格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。

格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data目录）指定的目录下是否有了dfs目录，如果有，说明格式化成功。

注意：

  1. 格式化时，这里注意hadoop.tmp.dir目录的权限问题，应该hadoop普通用户有读写权限才行，可以将/opt/data的所有者改为hadoop。
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data

  2. 查看NameNode格式化后的目录。

   [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
  • 1

enter image description here

fsimage是NameNode元数据在内存满了后，持久化保存到的文件。

fsimage*.md5是校验文件，用于校验fsimage的完整性。

seen_txid是hadoop的版本

vession文件里保存：

  • namespaceID：NameNode的唯一ID。

  • clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。

  1. #Mon Jul 04 17:25:50 CST 2016
  2. namespaceID=2101579007
  3. clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
  4. cTime=0
  5. storageType=NAME_NODE
  6. blockpoolID=BP-1641019026-127.0.0.1-1467624350057
  7. layoutVersion=-57
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

3、 启动NameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
  2. starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

4、 启动DataNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
  2. starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

5、 启动SecondaryNameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
  2. starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

6、 JPS命令查看是否已经启动成功，有结果就是启动成功了。

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 3233 Jps
  4. 3193 SecondaryNameNode
  5. 3110 DataNode
  • 1
  • 2
  • 3
  • 4
  • 5

enter image description here

7、 HDFS上测试创建目录、上传、下载文件

HDFS上创建目录

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
  • 1

上传本地文件到HDFS上

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
  2. ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
  • 1
  • 2

读取HDFS上的文件内容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml
  • 1

enter image description here

从HDFS上下载文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml
  • 1

enter image description here

十七、配置、启动YARN

1、 配置mapred-site.xml

默认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
  • 1

添加配置如下：

  1. <property>
  2. <name>mapreduce.framework.name</name>
  3. <value>yarn</value>
  4. </property>
  • 1
  • 2
  • 3
  • 4

指定mapreduce运行在yarn框架上。

enter image description here

2、 配置yarn-site.xml

添加配置如下：

  1. <property>
  2.   <name>yarn.nodemanager.aux-services</name>
  3.   <value>mapreduce_shuffle</value>
  4. </property>
  5. <property>
  6.     <name>yarn.resourcemanager.hostname</name>
  7.     <value>bigdata-senior01.chybinmy.com</value>
  8.  </property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

  • yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法。

  • yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。

    enter image description here

3、 启动Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
  • 1

enter image description here

4、 启动nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
  • 1

enter image description here

5、 查看是否启动成功

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 4439 NodeManager
  4. 4197 ResourceManager
  5. 4543 Jps
  6. 3193 SecondaryNameNode
  7. 3110 DataNode
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

可以看到ResourceManager、NodeManager已经启动成功了。

enter image description here

6、 YARN的Web页面

YARN的Web客户端端口号是8088，通过http://192.168.100.10:8088/可以查看。

enter image description here

十八、运行MapReduce Job

在Hadoop的share目录里，自带了一些jar包，里面带有一些mapreduce实例小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以运行这些例子体验刚搭建好的Hadoop平台，我们这里来运行最经典的WordCount实例。

1、 创建测试用的Input文件

创建输入目录:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
  • 1

创建原始文件:

在本地/opt/data目录创建一个文件wc.input,内容如下。

enter image description here

将wc.input文件上传到HDFS的/wordcountdemo/input目录中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
  • 1

enter image description here

2、 运行WordCount MapReduce Job

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
  • 1
  • 2

enter image description here

3、 查看输出结果目录

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
  2. -rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
  3. -rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000
  • 1
  • 2
  • 3

enter image description here

  • output目录中有两个文件，_SUCCESS文件是空文件，有这个文件说明Job执行成功。

  • part-r-00000文件是结果文件，其中-r-说明这个文件是Reduce阶段产生的结果，mapreduce程序执行时，可以没有reduce阶段，但是肯定会有map阶段，如果没有reduce阶段这个地方有是-m-。

  • 一个reduce会产生一个part-r-开头的文件。

  • 查看输出文件内容。

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
  2. hadoop  3
  3. hbase   1
  4. hive    2
  5. mapreduce       1
  6. spark   2
  7. sqoop   1
  8. storm   1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

结果是按照键值排好序的。

十九、停止Hadoop

  1.  [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
  2. stopping namenode
  3. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
  4. stopping datanode
  5. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
  6. stopping resourcemanager
  7. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
  8. stopping nodemanager
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

enter image description here

二十、 Hadoop各个功能模块的理解

1、 HDFS模块

HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。

2、 YARN模块

YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。

YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。

3、 MapReduce模块

MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。

第七步、开启历史服务

二十一、历史服务介绍

Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。

二十二、开启历史服务

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、
  • 1

开启后，可以通过Web页面查看历史服务器：

http://bigdata-senior01.chybinmy.com:19888/

二十三、Web查看job执行历史

1、 运行一个mapreduce任务

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
  • 1
  • 2

2、 job执行中

enter image description here

3、 查看job历史

enter image description here

enter image description here

历史服务器的Web端口默认是19888，可以查看Web界面。

但是在上面所显示的某一个Job任务页面的最下面，Map和Reduce个数的链接上，点击进入Map的详细信息页面，再查看某一个Map或者Reduce的详细日志是看不到的，是因为没有开启日志聚集服务。

二十四、开启日志聚集

4、 日志聚集介绍

MapReduce是在各个机器上运行的，在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在HDFS上，这个过程就是日志聚集。

5、 开启日志聚集

配置日志聚集功能：

Hadoop默认是不启用日志聚集的。在yarn-site.xml文件里配置启用日志聚集。

  1. <property>
  2.     <name>yarn.log-aggregation-enable</name>
  3.     <value>true</value>
  4.  </property>
  5. <property>
  6.     <name>yarn.log-aggregation.retain-seconds</name>
  7.     <value>106800</value>
  8.  </property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

yarn.log-aggregation-enable:是否启用日志聚集功能。

yarn.log-aggregation.retain-seconds：设置日志保留时间，单位是秒。

将配置文件分发到其他节点：

  1. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
  2. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
  • 1
  • 2

重启Yarn进程：

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
  2. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
  • 1
  • 2

重启HistoryServer进程：

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  2. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
  • 1
  • 2

6、 测试日志聚集

运行一个demo MapReduce，使之产生日志：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
  • 1

查看日志：

运行Job后，就可以在历史服务器Web页面查看各个Map和Reduce的日志了。
【大 中 小】【打印】 【繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部】
上一篇：结合案例讲解MapReduce重要知识点.. 下一篇：HadoopHA3_hadoop高可用的配置文件

最新文章

2018-3-7       ..
azkaban-web-start.sh启动时出现Tab..
Hadoop提交作业------>hadoop工..
结合案例讲解MapReduce重要知识点 ..
Hadoop pipes初学笔记

热门文章

Hadoop 中web服务的REST API介绍
ThingsBoard源码分析 —— 调试环境..
使用Eclipse插件连接配置Mapreduce..
解决Exception in thread "mai..
hadoop和spark比较

Hot 文章

Hadoop 中web服务的REST API介绍
ThingsBoard源码分析 —— 调试环境..
使用Eclipse插件连接配置Mapreduce..
解决Exception in thread "mai..
hadoop和spark比较

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目