设为首页 加入收藏

TOP

Hadoop 基本API 使用 -- 从HDFS文件系统 上读取文件
2018-12-07 00:19:11 】 浏览:7
Tags:Hadoop 基本 API 使用 HDFS 文件 系统 读取
版权声明:本文为博主原创文章,未经博主允许不得转载。http://mp.blog.csdn.net/configure#i https://blog.csdn.net/wangming520liwei/article/details/66970847


Hadoop 基本API 使用 从HDFS文件系统 上读取文件

不多说 看代码:


如果报错 wutils.exe 之类:

请注意一定要添加这一行:

 System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3");

import java.io.BufferedReader;  
import java.io.BufferedWriter;  
import java.io.FileInputStream;  
import java.io.FileWriter;  
import java.io.InputStreamReader;  
  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FSDataInputStream;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path; 

/**
 * 类说明
 * 
 * <pre>
 * Modify Information:
 * Author        Date          Description
 * ============ =========== ============================
 * DELL          2017年3月23日    Create this file
 * </pre>
 * 
 */

public class ReadFromHDFS {  
  
    /** 
     * @param args 
     * @throws Throwable  
     */  
    public static void main(String[] args) throws Throwable {  
        String[]  ioArg = new String[]{"hdfs://192.168.233.128:9000/user/wangxiaoming/bankstatementconfig/bankstatementconfig.txt"};
        String path = ioArg[0];  
//        String confFile = args[1];  
        Configuration conf = new Configuration();   
//        FileInputStream fis = new FileInputStream(confFile);  
//        conf.addResource(fis); 
        conf.set("mapred.jop.tracker", "hdfs://192.168.233.128:9001");
        conf.set("fs.default.name", "hdfs://192.168.233.128:9000");
        System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3");
        FileSystem fileSystem = FileSystem.get(conf);  
        FSDataInputStream fs = fileSystem.open(new Path(path));  
        //GBK
        BufferedReader bis = new BufferedReader(new InputStreamReader(fs,"GBK"));     
//        FileWriter fos = new FileWriter(args[2]);  
//        BufferedWriter bw = new BufferedWriter(fos);  
        String temp;  
        int i=0;  
        while ((temp = bis.readLine()) != null) {  
//            bw.write(temp);  
            System.out.println(temp);  
//            if(temp.startsWith("</doc>")) {  
            
//                break;  
//            }  
//            if(temp.indexOf("上海") > -1) {  
//                System.out.println("发现你了 coming");  
//                break;  
//            }  
        }         
//        bw.close();  
        bis.close();  
        fileSystem.close();  
    }  
  
}  



编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs的高可用性HA 下一篇基于Zookeeper的HDFS高可用配置

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }