设为首页 加入收藏

TOP

安装hadoop的步骤
2019-04-14 12:38:36 】 浏览:12
Tags:安装 hadoop 步骤

1.到apache官网,下载hadoop,选择bin类型,tar.gz,大约300M

2.copy到/opt文件下,tar开,tar -zxvfhadoop-3.0.3.tar.gz

3.设置符号链接 ln -s hadoop-3.0.3 hadoop

4.设置环境变量 在/etc/profile下,添加:

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin:/opt/hadoop/sbin

5.source /etc/profile ,来立即生效。

6.验证 hadoop version

注意:和hadoop的相关文件目录权限更改为755 chmod 755 hadoop

1)三种模式中的独立模式,目前已经安装完毕。

2)伪分布模式需要配置下面四个文件:

<xml version="1.0">
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>


<xml version="1.0">
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>

<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
</configuration>


<xml version="1.0">
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


<xml version="1.0">
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

更改完毕后,需要配置ssh

查看目前是否安装ssh的命令:

ubuntu:apt list --installed|grep ssh

centos: yum list installed|grep ssh

确认安装openssh-server、openssh-client、openssh后,

执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

最后尝试 ssh localhost,如果可以登录说明伪分布式也ok了。(如果不行,可能需要修改authorized_keys的权限,比如chmod 755 authorized_keys)

最后格式化 执行 hadoop/bin 目录下的 hadoop namenode -format(会在tmp目录下创建namenode目录,里面包括将会和datanode交互的配置信息)

开启 start-all.sh,如果找不到JAVA_HOME的变量,需要手动配置hadoop/etc下的hadoop-env.sh文件,

export JAVA_HOME=/opt/jdk

最后执行完start-all.sh(推荐使用分开的start-dfs.sh和start-yarn.sh),则用jps可以看到新启的五个进程(namenode\datanode\secendarynamenode\namemanager\datamanager)

注意:如果发现某个进程没有启动,可能是/tmp/hadoopXXX/dfs/name/current/VERSION和/tmp/hadoopXXX/dfs/data/current/VERSION中clusterID不匹配,把data更改为何name一致即可。

可以为hadoop创建文件 hadoop dfs -mkdir -p /usr/wangcong/hadoop

用netstat -ano|grep 50070


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop之MapReduce原理分析 下一篇为什么大数据工程师一定要学习Had..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }