setMapperClass(TokenizerMapper.class);
//在这个job中，我用TokenizerMapper这个类的map函数
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
//在这个job中，我用IntSumReducer这个类的reduce函数
job.setOutputKeyClass(Text.class);
//在reduce的输出时，key的输出类型为Text
job.setOutputValueClass(IntWritable.class);
//在reduce的输出时,value的输出类型为IntWritable
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
//初始化要计算word的文件的路径
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
//初始化要计算word的文件的之后的结果的输出路径
System.exit(job.waitForCompletion(true) 0 : 1);
//提交job到hadoop上去执行了，意思是指如果这个job真正的执行完了则主函数退出了，若没有真正的执行完就退出了。
}
//参考：http://hi.baidu.com/erliang20088/item/ce550f2f088ff1ce0e37f930
}
WourdCount程序中隐藏的秘密
1、具体流程：
1）文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成 对，如下图。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数和Linux环境有关。
2）将分割好的对交给用户定义的map方法进行处理，生成新的对。
3）得到map方法输出的对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key至相同value值累加，得到Mapper的最终输出结果。
2、Map Task的整体流程：
可以概括为5个步骤：
1）Read：Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。
2）Map：该阶段主要将解析出的key/value交给用户编写的map()函数处理，并产生一系列的key/value。
3）Collect：在用户编写的map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输入结果。在该函数内部，它会将生成的key/value分片（通过Partitioner），并写入一个环形内存缓冲区中。
4）Spill：即“溢写”，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并，压缩等操作。
5）Combine：当所有数据处理完成后，Map Task对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。
3、Reduce的整体流程：
可以概括为5个步骤：
1）Shuffle：也称Copy阶段。Reduce Task从各个Map Task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阀值，则写到磁盘上，否则直接放到内存中。
2）Merge：在远程拷贝的同时，Reduce Task启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或者磁盘上文件过多。
3）Sort：按照MapReduce语义，用户编写的reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一 起，Hadoop采用了基于排序的策略。由于各个Map Task已经实现了对自己的处理结果进行了局部排序，因此，Reduce Task只需对所有数据进行一次归并排序即可。
4）Reduce：在该阶段中，Reduce Task将每组数据依次交给用户编写的reduce()函数处理。
5）Write：reduce()函数将计算结果写到HDFS。
通过一些博客对WourdCount的介绍示例，总结Map、Reduce的整个过程。加上Thinking in BigDate（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解所将的内容，大致把整个文件数据处理的过程梳理一遍。但是还有很多细节没有讲明。如：Spill、Combine、Shuffle的过程，Shuffle整个MapReduce的核心。接下来，我们更深入了解MapReduce的过程，更深入的了解，便于我们在以后在操作Hadoop集群的过程中，有利于系统调优，甚至修改Hadoop源代码。
Copyright BUAA