设为首页 加入收藏

TOP

使用HDFS fsck api在页面上快速查找文件
2019-04-14 12:10:22 】 浏览:44
Tags:使用 HDFS fsck api 面上 快速 查找 文件

目的因业务需求需要查找hfds上不合规的文件

因无法登陆客户的服务器,但提供了vpn 可以访问hdfs50070端口

使用fsck api即可

访问url :http://1x.x.x.x:50070/fsckugi=hadoop&path=/hotyuqi/hivePublicOpinionList&files=1

ugi后面跟的是参数,path是要查询的路径,files是显示所有文件,是0是1试了一下没区别但是这个参数一定要有不然不会显示文件。

因为 1 B 的文件是不合规的 所有在浏览器使用Ctrl + F查找一下就找到8个不合规的文件,hadoop3.0之后提供了删除,可以删除掉就OK了,这里用的是2.7,需要各户配合删除掉不合规的文件,最重要的是更改代码判断,1B文件不再上传,这样历史问题和以后的问题就都解决了。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs基本命令操作 下一篇HDFS源码分析DataXceiver之读数据..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目