设为首页 加入收藏

TOP

搭建hdfs伪分布式模式
2019-02-12 00:16:55 】 浏览:106
Tags:搭建 hdfs 分布式 模式
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/DaBingShui/article/details/79160950

1.在上一篇单机模式的基础上配置xml

修改core-site.xml,

vi etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


修改hdfs-site.xml,

vi etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


然后本地启动MapReduce任务。先格式化文件系统


$ ./bin/hdfs namenode -format


a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

红线部分成功格式化

启动守护进程

./sbin/start-dfs.sh


用jps命令来查看节点守护进程启动情况


一些常用的命令。大概与linux相同


比如ls命令:./bin/hdfs dfs -ls /

创建hdfs文件系统的目录:
./bin/hdfs dfs -mkdir /user
./bin/hdfs dfs -mkdir /user/hadoop
然后我们将之前input文件夹拷贝到hdfs文件系统中:
./bin/hdfs dfs -put input /user/hadoop
我们可以使用如下命令查看,是否将input文件夹拷贝到了hdfs文件系统中:
./bin/hdfs dfs -ls /user/hadoop/input/*



删除单机模式下创建的input output

rm -rf input output

然后运行

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount input output



然后查看运行结果:

./bin/hdfs dfs -cat /user/hadoop/output/*


与单机下运行的结果一样

接下来去研究真正的分布式模式。







编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS的文件写入和读取过程 下一篇HDFS副本放置策略及机架感知

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }