TOP

搭建hdfs伪分布式模式
2019-02-12 00:16:55 】 浏览:143
Tags:搭建 hdfs 分布式 模式

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/DaBingShui/article/details/79160950

1.在上一篇单机模式的基础上配置xml

修改core-site.xml,

vi etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


修改hdfs-site.xml,

vi etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


然后本地启动MapReduce任务。先格式化文件系统


$ ./bin/hdfs namenode -format


红线部分成功格式化

启动守护进程

./sbin/start-dfs.sh


用jps命令来查看节点守护进程启动情况


一些常用的命令。大概与linux相同


比如ls命令:./bin/hdfs dfs -ls /

创建hdfs文件系统的目录:
./bin/hdfs dfs -mkdir /user
./bin/hdfs dfs -mkdir /user/hadoop
然后我们将之前input文件夹拷贝到hdfs文件系统中:
./bin/hdfs dfs -put input /user/hadoop
我们可以使用如下命令查看,是否将input文件夹拷贝到了hdfs文件系统中:
./bin/hdfs dfs -ls /user/hadoop/input/*



删除单机模式下创建的input output

rm -rf input output

然后运行

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount input output



然后查看运行结果:

./bin/hdfs dfs -cat /user/hadoop/output/*


与单机下运行的结果一样

接下来去研究真正的分布式模式。







搭建hdfs伪分布式模式 https://www.cppentry.com/bencandy.php?fid=115&id=207938

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS的文件写入和读取过程 下一篇HDFS副本放置策略及机架感知