设为首页 加入收藏

TOP

HDFS搭建
2019-01-21 12:07:24 】 浏览:56
Tags:HDFS 搭建

一、搭建前准备

配置好各台服务器的地址映射关系,相互之间的免密登录,安装jdk环境,时间同步(ntpdate time.nist.gov)

准备hadoop-2.6.5.tar.gz 安装包,放入/home目录下。


二、分析

环境需要一台放置NameNode(NN),需要一台放置SecondaryNameNode(SNN)

还需要放置在三台服务器上的DataNode(DN),规划:ding01放置NameNode和DataNode

ding02放置SecondaryNameNode和DataNode,ding03防止DataNode。这样就完成了

一个NN一个SNN和三个副本DN的规划


三、开始搭建

将home目录下的hadoop压缩包级压缩

tar -zxvf hadoop-2.6.5.tar.gz

配置hadoop安装包下的etc/hadoop/hadoop-env.sh文件,路径为你的jdk安装路径

配置core-site.xml文件

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://ding01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.6.5</value>

</property>

</configuration>

配置hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>ding02:50090</value>

</property>

<property>

<name>dfs.namenode.secondary.https-address</name>

<value>ding02:50091</value>

</property>

</configuration>

另外

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

是指定副本数目的

在/home/hadoop-2.6.5/etc/hadoop新建masters文件写上SNN节点名称ding02

在/home/hadoop-2.6.5/etc/hadoop新建slaves文件写上DN服务器名,每行一个

配置环境变量

谨慎,不要配错

source ~/.bash_profile

将本机配置好的hadoop发送到其他服务器上

scp -r hadoop-2.6.5 ding02:`pwd`

scp -r hadoop-2.6.5 ding03:`pwd`

格式化NameNode

[root@ding01 ~]# hdfs namenode -format

启动HDFS:start-dfs.sh

关闭防火墙

service iptables stop


四、测试

然后在页面访问


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS配额管理 下一篇HDFS入门

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目