TOP

Hadoop本地运行模式下运行官方案例(Grep和WordCount)
2019-01-21 12:40:49 】 浏览:390
Tags:Hadoop 本地 运行 模式 官方 案例 Grep WordCount

版权声明:Please make the source marked https://blog.csdn.net/qq_31807385/article/details/84072543

官方Grep案例

#1,在hadoop-2.7.2文件下创建input文件夹
[isea@hadoop104 hadoop-2.7.2]$ mkdir input
[isea@hadoop104 hadoop-2.7.2]$ ll
总用量 56
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 bin
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 etc
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 include
drwxrwxr-x. 2 isea isea  4096 11月 14 19:24 input
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 lib
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 libexec
-rw-r--r--. 1 isea isea 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 isea isea   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 isea isea  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 sbin
drwxr-xr-x. 4 isea isea  4096 5月  22 2017 share

#2,将hadoop的配置文件cp到input下,作为输入文件
[isea@hadoop104 hadoop-2.7.2]$ cp etc/hadoop/*.xml input/

#3,执行share目录下的mapreduce程序
[isea@hadoop104 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

#4,检查是否多了一个目录output,并查看该目录下的内容
[isea@hadoop104 hadoop-2.7.2]$ ll
总用量 60
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 bin
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 etc
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 include
drwxrwxr-x. 2 isea isea  4096 11月 14 19:24 input
drwxr-xr-x. 3 isea isea  4096 5月  22 2017 lib
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 libexec
-rw-r--r--. 1 isea isea 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 isea isea   101 5月  22 2017 NOTICE.txt
drwxrwxr-x. 2 isea isea  4096 11月 14 19:28 output
-rw-r--r--. 1 isea isea  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 isea isea  4096 5月  22 2017 sbin
drwxr-xr-x. 4 isea isea  4096 5月  22 2017 share
[isea@hadoop104 hadoop-2.7.2]$ cat output/
cat: output/: 是一个目录
[isea@hadoop104 hadoop-2.7.2]$ cat output/*
1	dfsadmin
[isea@hadoop104 hadoop-2.7.2]$ 

官方WordCount案例

#1,在hadoop的目录下创建一个wcinput,并创建wc.input 并写入内容
[isea@hadoop104 hadoop-2.7.2]$ mkdir wcinput
[isea@hadoop104 hadoop-2.7.2]$ cd wcinput/
[isea@hadoop104 wcinput]$ vim wc.input
 you know that i sea you
sea you
isea you
isea
i sea you

#2,回到hadoop目录,执行countword程序
[isea@hadoop104 wcinput]$ cd ..
[isea@hadoop104 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput
*
*
*

#3,查看结果
[isea@hadoop104 hadoop-2.7.2]$ cat wcoutput/part-r-00000 
i	2
isea	2
know	1
sea	3
that	1
you	5
[isea@hadoop104 hadoop-2.7.2]$ cd wcoutput/
[isea@hadoop104 wcoutput]$ ll
总用量 4
-rw-r--r--. 1 isea isea 37 11月 14 19:38 part-r-00000
-rw-r--r--. 1 isea isea  0 11月 14 19:38 _SUCCESS


Hadoop本地运行模式下运行官方案例(Grep和WordCount) https://www.cppentry.com/bencandy.php?fid=114&id=204627

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop 2.x 下使用javac编译java.. 下一篇hadoop版本和位数的查看方法