设为首页 加入收藏

TOP

运行一个 hadoop 任务的流程是什么样的(大数据开发面试)
2019-05-12 00:43:20 】 浏览:120
Tags:运行 一个 hadoop 任务 流程 什么样 数据 开发 面试

本文参考自: 原文地址


1、 导入数据对需分析的数据进行分片,片的大小默认与 datanode 块大小相同。

2、 每个数据片由一个 mapper 进行分析,mapper 按照需求将数据拆分为一个个 keyvalue 格式的数据。

3、 每个 key-value 数据调用一次 map 方法,对数据进行相应的处理后输出。

4、 将输出的数据复制到对应的分区,默认一个键一个区,相同键放在同一个区中。

5、 将输出的数据进行合并为 key-Iterable 格式。

6、 每个分区有一个 reduce,每个 reduce 将同一个分区的数据进行合并处理为自己所需的数据格式。

7、 将数据输出至 hdfs。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop 大数据性能测试,转内待使.. 下一篇Hadoop分布式文件系统

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目