Hive表自增列的实现，我在网上找了好久，大都是自己编写UDF（或者是UDAF/UDTF）之类的，或者是直接使用hive的lib库中提供的jar包，加载之后创建方法，然后在hive sql中调用，不过这些都会遇到一个问题：在多map任务的SQL中，每个map处理之后的多个文件，每个文件中的记录都是从1开始自增，并不能真正的实现hive表中所有的记录都有唯一编号，而且是自增的效果。在和别人讨论时，有人提到过一个比较好的方法：

使用shell脚本处理hive表下的文件：

1. 下载hive表对应的文件到linux本地系统。

2. shell命令读取文件的每一行内容，然后在最开始添加自增编号以及行字段分隔符（这个分隔符是在hive建表时指定的，要和建表语句分隔符保持一致），之后将处理之后的该行内容，写入新的文件中。

3. 将新的文件上传到带有自增列的hive表中。

下面是我的代码：

1. 创建原始表，不包含自增列：

CREATE TABLE `test.wzq_matcheducation_temp`(

`userid` bigint,

`value` string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

NULL DEFINED AS ''

STORED AS INPUTFORMAT

'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

location信息：/user/hive/warehouse/test.db/wzq_matcheducation_temp

2. 创建数据表，包含自增列：

CREATE TABLE `test.wzq_matcheducation`(

`id` bigint,

`userid` bigint,

`value` string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

NULL DEFINED AS ''

STORED AS INPUTFORMAT

'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

location信息：/user/hive/warehouse/test.db/wzq_matcheducation

3. 编写hiveSQL，将数据导入原始表：

insert overwrite table test.wzq_matcheducation_temp

select userid, matcheducation

from bidp.user_cloud

where matcheducation like '%8%'

order by userid

4. 编写文件自增列数据处理shell脚本（重要）！！！脚本很简单，自己看吧。
#!/bin/bash

base_path=/home/work/modify_hbase/shell/column_auto_increment

read -p '------请输入要处理的hive表文件对应的目录路径：' hdfs_path_old
read -p '------请输入有自增列的hive表文件对应的目录路径：' hdfs_path_new

echo -e "------`date "+%y/%m/%d %H:%M:%S"`：正在下载hive表对应目录下的所有文件到linux系统中"
rm -rf $base_path/data
mkdir -p $base_path/data/tmp_old
mkdir -p $base_path/data/tmp_new
hadoop fs -get $hdfs_path_old/* $base_path/data/tmp_old
echo -e "------`date "+%y/%m/%d %H:%M:%S"`：hive表对应目录下的所有文件下载完毕"

cd $base_path/data/tmp_old
#给每个文件添加自增列
i=1
for file in $(ls)
do
cat $file | while read line
do
echo -e "$i\t$line" >> $base_path/data/tmp_new/$file
let i++
done
done
echo -e "------`date "+%y/%m/%d %H:%M:%S"`：每个数据文件的自增列添加完毕，开始上传所有处理完的数据文件..."
hadoop fs -put $base_path/data/tmp_new/* $hdfs_path_new
echo -e "------`date "+%y/%m/%d %H:%M:%S"`：数据上传完毕，请手动检查结果：1.查询几条数据；2.查询自增列最大值；3.查询表数据量；4.对比2和3的结果是否一致"

exit 0

下面给出脚本代码截图：

5. 执行脚本：

两个文件路径分别是原始表数据文件路径和数据表数据路径。执行开始之后，查看脚本执行时输出的日志即可。执行完之后，按照脚本中说的方法进行检查即可。

以上就是为hive表添加自增列的方法，不过这个方法也有很多局限性，比如文件内容修改速度很慢（shell脚本读写文件较慢，我觉得可以使用java程序读取hdfs上的文件，然后进行批处理之类的，可以加快文件处理速度）、如果单个文件过大，大量占用机器内存（可以将文件做切割处理）。