遇到这么一个需求,输入数据为一个ID对应多个name,要求输出数据为ID是唯一的,name随便取一个就可以。
执行以下Hive ql语句:
会报错:
查了一下,HIVE有这么一个函数collect_set,类似于MySQL的group_concat函数,把每个分组的其他字段,按照逗号进行拼接,得到一个最终字符串:
将上述的QL语句改一下:
结果是这样的:
这个时候,我们就可以针对第二列做一些计数、求和操作,分别对应到Hive的聚合函数count、sum。
对应到本文的目的,直接从数组获取第一个元素就达到目的了,这样做:
结果如下:
总结:
Hive不允许直接访问非group by字段;对于非group by字段,可以用Hive的collect_set函数收集这些字段,返回一个数组;使用数字下标,可以直接访问数组中的元素;
参考文章:http://wangjunle23./blog/static/11783817110222309391/
转载:/1600.html