数据库|mysql教程
Hive,Group,去重,Hive,用中,我们,经常,会
数据库-mysql教程
象眼源码,vscode开源项目,ubuntu非正常关机修复记,tomcat服务注册,sqlite是软件吗,传奇最新刷元宝插件,哪个前端框架用的最多,隐藏页面js不被爬虫,yum 升级 php,邛崃seo收费,生活网站系统,html网页边框代码,模板资源设置失败,免费好用的淘宝客程序lzw
在Hive的是用中，我们经常会有这种需求： 按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据： id pic1.jpg2.jpg1.jpg 此时，是用DISTINCT或者2 col得Group By都是不行得，我们可以用这个UDAF：collect_set(col)，它将对同一个group by 得ke
c语言rsa算法源码下载,vscode 宿主,ubuntu最大连接数,tomcat print,sqlite 显示列名,怎么把项目部署到服务器,主屏手机插件,ssm框架前端ui,自己动手写网络爬虫 光盘,php怎么获取当前时间,专业seo课程,淘宝客网站介绍,网页编码 锁定,仿豆瓣模板,手机 400错误页面模板,php相册管理系统源码,易语言程序事件监控lzw
百度地图的源码,ubuntu设置从不更新,tomcat参数 吞吐量,爬虫模板xml,php中redis,用SEO是什么国际组织的简称lzw
在Hive的是用中，我们经常会有这种需求：
按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据：
id pic1.jpg2.jpg1.jpg
此时，是用DISTINCT或者2 col得Group By都是不行得，我们可以用这个UDAF：collect_set(col)，它将对同一个group by 得key进行set去重后，转换为一个array。
再举一个例子，我们可以对pic进行去重，拼接：
SELECT id, CONCAT_WS(,, COLLECT_SET(pic)) FROM tbl GROUP BY id
在这里CONCAT_WS是UDF，COLLECT_SET是UDAF，它将group后的pic去重，并转换为了array，方便udf是用。
PS：如果不需要去重，可以使用COLLECT_LIST。
更多UDAF，见这里 /confluence/display/Hive/LanguageManual+UDF
原文地址：Hive中Group By的去重, 感谢原作者分享。
