设为首页 加入收藏

TOP

Hadoop开发常用的InputFormat和OutputFormat
2014-11-23 22:10:13 来源: 作者: 【 】 浏览:10
Tags:Hadoop 开发 常用 InputFormat OutputFormat

--------------------------------------分割线 --------------------------------------


--------------------------------------分割线 --------------------------------------


TextInputFormat
用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。


KeyValueTextInputFormat
同样用于读取文件,如果行被分隔符(缺省是tab)分割为两部分,第一部分为key,剩下的部分为value;如果没有分隔符,整行作为 key,value为空


SequenceFileInputFormat
用于读取sequence file。 sequence file是Hadoop用于存储数据自定义格式的binary文件。它有两个子类:SequenceFileAsBinaryInputFormat,将 key和value以BytesWritable的类型读出;SequenceFileAsTextInputFormat,将key和value以 Text的类型读出。


SequenceFileInputFilter
根据filter从sequence文件中取得部分满足条件的数据,通过setFilterClass指定Filter,内置了三种 Filter,RegexFilter取key值满足指定的正则表达式的记录;PercentFilter通过指定参数f,取记录行数%f==0的记录;MD5Filter通过指定参数f,取MD5(key)%f==0的记录。


NLineInputFormat
0.18.x新加入,可以将文件以行为单位进行split,比如文件的每一行对应一个map。得到的key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。


CompositeInputFormat,用于多个数据源的join。


TextOutputFormat,输出到纯文本文件,格式为 key + " " + value。


NullOutputFormat,hadoop中的/dev/null,将输出送进黑洞。


SequenceFileOutputFormat, 输出到sequence file格式文件。


MultipleSequenceFileOutputFormat, MultipleTextOutputFormat,根据key将记录输出到不同的文件。


DBInputFormat和DBOutputFormat,从DB读取,输出到DB。


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇Go语言实现冒泡排序 下一篇Go语言int类型转化成string类型的..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: