设为首页 加入收藏

TOP

Hadoop2.7.1版本---标准输出HDFS文件系统中的文件
2018-12-02 16:29:37 】 浏览:72
Tags:Hadoop2.7.1 版本 --- 标准 输出 HDFS 文件 系统
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_36459106/article/details/74162602

Hadoop2.7.1版本—本文内容中有关地址的内容要自行根据自身设置修改

最近开始全身心的开始学习hadoop了,运行了系统jar文件自带的wordcount(和我们学习编程的第一天输出helloworld一样),开始运行自己编写的案例程序。开始翻越网上的各种博客,可是很多编译运行类似的程序都是基于hadoop 1.0 等老版本的,令人十分苦恼!于是写这篇博客拿来分享给各位一起学习hadoop的小伙伴!!

1、先把我们要运行的代码给大家展示一下

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URL;
public class URLCat{
        static{
                URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
        }
        public static void main(String[] args) throws Exception {
                InputStream in = null;
                try {
                        in = new URL(args[0]).openStream();
                        IOUtils.copyBytes(in,System.out,4096,false);
                } finally{
                        IOUtils.closeStream(in);
                }
        }
}

2、编译这段代码并生成jar包
首先我们在编译之前要确保已经添加的如下环境变量。通过查看~/.bashrc文件即可。
这里写图片描述
如果没有的导入下面的环境变量,请自行添上。并使文件生效:命令行输入 source ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

开始编译
这里写图片描述
生成jar包
这里写图片描述
3、运行程序
这里写图片描述

本文代码引用 hadoop权威指南 第三版 63 页 相关内容!

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇centos-7 部署hadoop2.5.1 >&g.. 下一篇写文件到hdfs时出现0 datanode(错..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目