设为首页 加入收藏

TOP

使用HDFS fsck api在页面上快速查找文件
2019-04-14 12:10:22 】 浏览:5
Tags:使用 HDFS fsck api 面上 快速 查找 文件

目的因业务需求需要查找hfds上不合规的文件

因无法登陆客户的服务器,但提供了vpn 可以访问hdfs50070端口

使用fsck api即可

访问url :http://1x.x.x.x:50070/fsckugi=hadoop&path=/hotyuqi/hivePublicOpinionList&files=1

ugi后面跟的是参数,path是要查询的路径,files是显示所有文件,是0是1试了一下没区别但是这个参数一定要有不然不会显示文件。

因为 1 B 的文件是不合规的 所有在浏览器使用Ctrl + F查找一下就找到8个不合规的文件,hadoop3.0之后提供了删除,可以删除掉就OK了,这里用的是2.7,需要各户配合删除掉不合规的文件,最重要的是更改代码判断,1B文件不再上传,这样历史问题和以后的问题就都解决了。


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs基本命令操作 下一篇HDFS源码分析DataXceiver之读数据..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }