TOP

Hadoop 提交任务执行流程总结
2019-01-02 00:39:10 】 浏览:56
Tags:Hadoop 提交 任务 执行 流程 总结

用流水线可表示任务执行流程如下:

input(k1,v1) ->map-> (k2,v2) ->combine-> shuffle(partitioner) -> sort -> (k2,v2) ->reduce-> (k3,v3) ->output

接着来段大白话,聊一聊:

一,input

(通过FileInputFormat设置),此步主要工作:验证输入形式,调用InputSplit决定map个数,并通过RecordReader用于输入记录;

二,map

(把输入的(k1,v1)分割成n个(k2,v2)),此步主要工作: setup初始化map工作例如打开文件,map例如把一行分割成(word,1)的(k,v)形式,用于后面reduce词频统计,cleanup收尾map工作例如关闭文件;

三,combine

此步主要工作:对map操作过后的(k2,v2),按键值进行归并,也就是把key值相同的的value归并成一个values_list,此步是在map端进行,但是仅仅做归并操作,并没有多余的操作,目的是不让数据太分散,减少数据传输的网络开销;

四,shuffle

(这个词,记了好几次...也怪我记性差~_~!!)此处用partitioner就好记喽,此步主要工作:对combine后的结果进行分区操作,使具有相关性的数据发送到相同reduce节点上,避免具有相关性数据分散在不同reduce节点上,导致reduce计算过程中还得去访问其他reduce节点,降低运算效率;

五,sort

此步主要操作:map处理过后的数据在进行reduce操作之前,进行排序操作,其过程为map过后,对分散存储的数据进行快速排序,然后通过归并排序把分散的数据存入一个大文件;

六,reduce

对(k2,v2)进行操作,其中v2指value_list,例如词频统计对(value_list数据进行累加),同map包括(setup, reduce, cleanup)

七,output

(通过FileOutputFormat设置),此步主要把任务数据存储起来,其中包括recordWriter对输出进行记录
这一过程中系统参数设置如下:

点击(此处)折叠或打开

  1. job.setJarByClass(Unique.class);//设置任务执行类
  2. job.setMapperClass(UniMapper.class);//设置map类
  3. job.setCombinerClass(UniReduce.class);//设置reduce类
  4. job.setReducerClass(UniReduce.class);//设置combine类
  5. job.setOutputKeyClass(Text.class);//设置程序输出k类型
  6. job.setOutputValueClass(Text.class);//设置任务输出v类型
  7. FileInputFormat.addInputPath(job,newPath(args[0]));//输入路径
  8. FileOutputFormat.setOutputPath(job,newPath(args[1]));//输出路径

参考链接:

http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

请关注公众号获取更多资料


Hadoop 提交任务执行流程总结 https://www.cppentry.com/bencandy.php?fid=114&id=201997

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇RPC、springcloud、dubbo、hadoop.. 下一篇Hadoop系列(一)Docker部署Hadoop..