设为首页 加入收藏

TOP

HDFS的写入流程及副本复制策略(图解)
2019-04-23 00:10:33 】 浏览:46
Tags:HDFS 写入 流程 副本 复制 策略 图解

在这里插入图片描述
步骤补充:
1.向namenode发送请求上传文件 然后在namenode里会进行检查是否存在该文件,权限问题 通过则给一个输出流对象
2.建立好pipeline管道后,客户端先把文件写入缓存中,达到一个块的大小时,会与第一个datanode建立连接开始流式的传输数据,这个datanode会一小部分一小部分的(4k)接受数据然后写入本地仓库,同时把这些数据传输到第二个datanode上;
第二个datanode同样完成上面的操作,再传到第三个datanode ;
3. 整个上传完成后,namenode更新内存元数据 关闭流(因为是IO操作的)

副本复制策略

Client 在哪发起的上传请求, 如果说客户端发起请求的位置在HDFS集群中,client会执行就近原则,存储Client所在机器节点上 这是对于第一个副本来说
如果client 不再HDFS上发送上传请求,第一副本会随机选择一个节点
2 第二份副本为了安全考虑 在不同机架上的随机节点上
3 第三份副本 与第二份副本在相同机架上的不同节点

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS Balance调优参数设置 下一篇解决本地调试远程hdfs用户名权限..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目