设为首页 加入收藏

TOP

多机集群环境搭建hadoop笔记(二)
2014-11-24 07:39:22 来源: 作者: 【 】 浏览:6
Tags:集群 环境 搭建 hadoop 笔记
anode节点的目录。
3、mapred-site.xml文件配置如下:
mapred.job.tracker
node1:9001
配置jobtracker
4、masters文件配置如下:
node1
5、slaves文件配置如下:
node2
node3
完成hadoop的配置之后,将其拷贝到node2和node3的andychen目录中。通过scp命令拷贝。
步骤四:使用hadoop
1、格式化一个分布式文件 系统
在node1节点,进入hadoop根目录,执行如下命令:
bin/hadoop namenode -format
2、启动hadoop。
执行如下命令:
bin/start-all.sh
这样在node1节点用 jps命令可以看到如下三个进程:
namenode、secondary namenode、jobtracker
在node2和node3用 jps命令看到如下两个进程:
datanode和tasktracker
3、拷贝测试数据到hdfs中
首先建立一个test-in目录,将英文文本文件存入其中,可以是多个文本文件。
然后执行如下命令:
bin/hadoop fs -put test-in input
将test-in目录中的文件put到hdfs中的input目录中。
4、执行wordcount例子程序
bin/hadoop jar hadoop-mapred-examples-0.21.0.jar input output
其中hdfs中的input目录中的文件作为程序的输入,计算结果存入在output目录中。
5、查看执行结果
bin/hadoop fs -get output test-out
将hdfs中的output目录拷贝到本地文件系统的test-out目录中。
进入test-out目录,查看part-r-00000 文件即可。
5、补充:hdfs文件系统操作的有用命令:
bin/hadoop fs -ls /
查看hdfs的跟目录
bin/hadoop fs -cat /user/andychen/output/part-r-00000
查看执行结果
bin/hadoop fs -rm /user/andychen/input/file1.txt
删除file1.txt文件
bin/hadoop fs -rmr /user/andychen/input
删除input目录
首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇配置本地环境之Mongodb在WindowsX.. 下一篇Redis环境的安装与测试

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·About - Redis (2025-12-26 08:20:56)
·Redis: A Comprehens (2025-12-26 08:20:53)
·Redis - The Real-ti (2025-12-26 08:20:50)
·Bash 脚本教程——Li (2025-12-26 07:53:35)
·实战篇!Linux shell (2025-12-26 07:53:32)