设为首页 加入收藏

TOP

大数据-hadoop-MapReduce计算流程
2019-09-25 11:19:07 】 浏览:63
Tags:数据 -hadoop-MapReduce 计算 流程
  • MapReduce计算流程

  1  首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交

  2 一个MR程序就是一个Job,Job信息会给Resourcemanger,向Resourcemanger注册信息

  • 3  在注册通过后,Job会拷贝相关的资源信息(从HDFS中)

    4 紧接着会向Resourcemanger提交完整的Job信息(包括资源信息)

    5a  Resourcemanger 会通过提交的Job信息,计算出Job所需的资源,为Job分配Container资源

    5b 计算资源会分发给对应的NodeManger,NodeManager会创建一个MRAppMaster

    6  MRAppMaster初始化Job

    7 获取输入切片信息

    8 MRAppMaster向ResourceManager 请求资源

    9a 启动计算资源(连接到对应的资源所在NodeManager)

    9b 启动YARN Child

    10 从文件系统中获取完整的Job信息

    11 启动对应的Maptask或者ReduceTask 进程,执行计算。

 

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇设计模式-结构型-代理模式 下一篇Docker Compose部署Nexus3时的doc..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目