设为首页 加入收藏

TOP

HDFS不适合存储小文件,如果生成场景中还必须将这些小文件进行存储(比如,每天产生的日志,数据量很小,但是必须存储)
2019-04-22 00:16:51 】 浏览:56
Tags:HDFS 适合 存储 文件 如果 生成 场景 必须 些小 进行 比如 每天 产生 日志 数据 很小 但是

HDFS天生就是为存储大文件而生的,一个块的元数据大小大概在150字节左右,存储一个小文件就要占用150字节的内存,如果存储大量的小文件

很快就将内存耗尽,而整个集群存储的数据量很小,失去了HDFS的意义。

可以将数据合并上传,或者将文件append形式追加在HDFS文件末尾。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS追本溯源:租约,读写过程的.. 下一篇替换Hdfs几种分布式文件系统

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目