设为首页 加入收藏

TOP

Hadoop 基本API 使用 -- 从HDFS文件系统 上读取文件
2018-12-07 00:19:11 】 浏览:43
Tags:Hadoop 基本 API 使用 HDFS 文件 系统 读取
版权声明:本文为博主原创文章,未经博主允许不得转载。http://mp.blog.csdn.net/configure#i https://blog.csdn.net/wangming520liwei/article/details/66970847


Hadoop 基本API 使用 从HDFS文件系统 上读取文件

不多说 看代码:


如果报错 wutils.exe 之类:

请注意一定要添加这一行:

 System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3");

import java.io.BufferedReader;  
import java.io.BufferedWriter;  
import java.io.FileInputStream;  
import java.io.FileWriter;  
import java.io.InputStreamReader;  
  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FSDataInputStream;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path; 

/**
 * 类说明
 * 
 * <pre>
 * Modify Information:
 * Author        Date          Description
 * ============ =========== ============================
 * DELL          2017年3月23日    Create this file
 * </pre>
 * 
 */

public class ReadFromHDFS {  
  
    /** 
     * @param args 
     * @throws Throwable  
     */  
    public static void main(String[] args) throws Throwable {  
        String[]  ioArg = new String[]{"hdfs://192.168.233.128:9000/user/wangxiaoming/bankstatementconfig/bankstatementconfig.txt"};
        String path = ioArg[0];  
//        String confFile = args[1];  
        Configuration conf = new Configuration();   
//        FileInputStream fis = new FileInputStream(confFile);  
//        conf.addResource(fis); 
   
		    

conf.set("mapred.jop.tracker", "hdfs://192.168.233.128:9001"); conf.set("fs.default.name", "hdfs://192.168.233.128:9000"); System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3"); FileSystem fileSystem = FileSystem.get(conf); FSDataInputStream fs = fileSystem.open(new Path(path)); //GBK BufferedReader bis = new BufferedReader(new InputStreamReader(fs,"GBK")); // FileWriter fos = new FileWriter(args[2]); // BufferedWriter bw = new BufferedWriter(fos); String temp; int i=0; while ((temp = bis.readLine()) != null) { // bw.write(temp); System.out.println(temp); // if(temp.startsWith("</doc>")) { // break; // } // if(temp.indexOf("上海") > -1) { // System.out.println("发现你了 coming"); // break; // } } // bw.close(); bis.close(); fileSystem.close(); } }



编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs的高可用性HA 下一篇基于Zookeeper的HDFS高可用配置

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }