设为首页 加入收藏

TOP

hive中数据去重,union,交集和并集等操作语句总结
2018-12-07 01:26:24 】 浏览:17
Tags:hive 数据 union 交集 操作 语句 总结
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ljp812184246/article/details/54691943
  1. insertoverwritetablestore
  2. selectt.p_key,t.sort_wordfrom
  3. (selectp_key,
  4. sort_word,
  5. row_number() over(distributebyp_keysortbysort_word)asrn
  6. fromstore) t
  7. wheret.rn=1;

Hive上一个典型表内除重的写法, p_key为除重依据, sort_word 为排序依据,一般为时间 rn为排名。 这里就留下第一名

注意hql 方言中, 表的嵌套要家别名, 字段前加上表别名。 union all 不支持顶层视图。


参考链接:

hive 嵌套使用: http://www.oschina.net/code/snippet_1421929_43903

hive求两个集合的减集: http://www.bkjia.com/yjs/942686.html

SQL 操作结果集 -并集、差集、交集、结果集排序:http://www.cnblogs.com/kissdodog/archive/2013/06/24/3152743.html

关于hive子查询,union,left join :http://www.tuicool.com/articles/MZf6ny

hivejoin 操作小结: http://blog.csdn.net/xyilu/article/details/8112747






编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hive 通过csv文件创建表 下一篇hive查询,连接left join、inner ..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }