设为首页 加入收藏

TOP

HDFS练习1-----统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比
2018-12-07 00:20:25 】 浏览:7
Tags:HDFS 练习 1----- 统计 文件 系统 大小 小于 集群 默认

问题还原:

编写程序统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比

比如:大于等于 128M 的文件个数为 98,小于 128M 的文件总数为 2,所以答案是 2%

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

/**
 * 编写程序统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比
 * 比如:大于等于 128M 的文件个数为 98,小于 128M 的文件总数为 2,所以答案是 2%
 * @author Administrator
 *
 */
public class Question1 {
	private static int DEFAULT_BLOCKSIZE = 128 * 1024 * 1024;
	
	/**
	 * 使用Junit进行测试
	 * @throws Exception
	 */
	@Test
	public void Test() throws Exception{
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		
		FileSystem fs = FileSystem.get(conf);
		
		Path path = new Path("/");
		
		int smallFile = 0;
		int totalFile = 0;
		//fs.listStatus(path); 
		//获取的是指定路径下的所有资源,包括文件夹和文件,但是不包括子文件夹下的文件
		//获取指定目录下的所有的文件
		RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(path, false);
		
		while(listFiles.hasNext()){
			//指定目录下文件计数器
			totalFile++;
			
			LocatedFileStatus next = listFiles.next();
			//获取每个文件的大小
			long len = next.getLen();
			//如果小于默认block块的大小,则视为小文件
			if(len < DEFAULT_BLOCKSIZE){
				//指定目录下小文件计数器
				smallFile++;
			}
		}
		
		//计算小文件的占比,并输出
		String result = (smallFile * 1f /totalFile * 100)+"%";
		
		System.out.println(result);

		
		fs.close();
	
	}
}


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS文件追加append里的坑 下一篇HDFS详解之块大小和副本数

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }