hive csv文件导入hive第一个字段内容为NULL

从 mysql中导出一张维度表，输出格式为csv

数据如下： www.2cto.com

1 www.dianping.com ^/shanghai$ 上海首页 1

2 www.dianping.com ^/shop/[0-9]*$ 商户页 1

导入hive

hive > load data local inpath '/data/test.txt' overwrite into table dpdim_page_name_id;

查询数据：

hive (bi)> select * from dpdim_page_name_id;

OK

NULL www.dianping.com ^/shanghai$ 上海首页 1

2 www.dianping.com ^/shop/[0-9]*$ 商户页 1

第一个字段内容为NULL，诡异，怀疑是UTF-8 BOM签名导致的

用UltraEdit打开文件，切换到十六进制编辑模式，文件头部有EF BB BF

果然！ www.2cto.com

使用UltraEdit，文件另存，格式选择为“UTF-8 无BOM”

重新导入，查询数据：

hive > select * from dpdim_page_name_id;

OK

1 www.dianping.com ^/shanghai$ 上海首页 1

2 www.dianping.com ^/shop/[0-9]*$ 商户页 1