设为首页 加入收藏

TOP

hadoop分析 - HDFS上传文件
2018-11-13 14:12:20 】 浏览:79
Tags:hadoop分析 HDFS 上传 文件

hdfs 上传文件原理如下图所示:


这里有一个非常重要的类:DFSOutputStream, 它继承 FSOuputSummer

其他比较重要的类有:FileSystem, DFSClient, 至于类之间的关系,请查看api文档

1. 校验码

采用CRC32,所以校验和位是4Bytes

2. 队列只有一个消费者线程:DataStreamer

作用详见java api



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop分布式文件系统(HDFS) 下一篇大数据基础知识及分布式存储原理

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目