目录
1、concat函数,concat_ws函数，concat_group函数CONCAT() 函数2、CONCAT_WS(SEPARATOR ,collect_set(column)) 等价于 GROUP_CONCAT()3、Hive之列转行,行转列列转行行转列1、concat函数,concat_ws函数，concat_group函数
hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别
CONCAT() 函数
CONCAT()函数用于将多个字符串连接成一个字符串。
1.1、语法及使用特点：
CONCAT(str1,str2,…)
返回结果为连接参数产生的字符串。如有任何一个参数为NULL ，则返回值为 NULL。可以有一个或多个参数。
使用示例：SELECT CONCAT(id, ‘，’, name) AS con FROM info LIMIT 1;返回结果为+----------+| con|+----------+| 1,BioCyc |+----------+SELECT CONCAT(‘My’, NULL, ‘QL’);返回结果为+--------------------------+| CONCAT('My', NULL, 'QL') |+--------------------------+| NULL |+--------------------------+
CONCAT_WS() 函数
如何指定参数之间的分隔符，使用函数CONCAT_WS()。使用语法为：CONCAT_WS(separator,str1,str2,…)
CONCAT_WS() 代表 CONCAT With Separator ，是CONCAT()的特殊形式。第一个参数是其它参数的分隔符。分隔符的位置放在要连接的两个字符串之间。分隔符可以是一个字符串，也可以是其它参数。如果分隔符为 NULL，则结果为 NULL。函数会忽略任何分隔符参数后的 NULL 值。但是CONCAT_WS()不会忽略任何空字符串。 (然而会忽略所有的 NULL）
如SELECT CONCAT_WS('_',id,name) AS con_ws FROM info LIMIT 1;返回结果为+----------+| con_ws |+----------+| 1_BioCyc |+----------+SELECT CONCAT_WS(',','First name',NULL,'Last Name');返回结果为+----------------------------------------------+| CONCAT_WS(',','First name',NULL,'Last Name') |+----------------------------------------------+| First name,Last Name|+----------------------------------------------+
GROUP_CONCAT() 函数
GROUP_CONCAT函数返回一个字符串结果，该结果由分组中的值连接组合而成。
1、使用语法及特点：
GROUP_CONCAT([DISTINCT] expr [,expr …]
[ORDER BY {unsigned_integer | col_name | formula} [ASC | DESC] [,col …]]
[SEPARATOR str_val])
在 MySQL 中，你可以得到表达式结合体的连结值。通过使用 DISTINCT 可以排除重复值。如果希望对结果中的值进行排序，可以使用 ORDER BY 子句。
SEPARATOR 是一个字符串值，它被用于插入到结果值中。缺省为一个逗号 (",")，可以通过指定 SEPARATOR “” 完全地移除这个分隔符。
可以通过变量 group_concat_max_len 设置一个最大的长度。在运行时执行的句法如下： SET [SESSION | GLOBAL] group_concat_max_len = unsigned_integer;
如果最大长度被设置，结果值被剪切到这个最大长度。如果分组的字符过长，可以对系统参数进行设置：SET @@global.group_concat_max_len=40000;
2、使用示例：
语句 SELECT locus,GROUP_CONCAT(id) FROM info WHERE locus IN('AB086827','AF040764') GROUP BY locus; 的返回结果为+----------+------------------+| locus | GROUP_CONCAT(id) |+----------+------------------+| AB086827 | 1,2 || AF040764 | 23,24 |+----------+------------------+语句 SELECT locus,GROUP_CONCAT(distinct id ORDER BY id DESC SEPARATOR '_') FROM info WHERE locus IN('AB086827','AF040764') GROUP BY locus;的返回结果为+----------+----------------------------------------------------------+| locus | GROUP_CONCAT(distinct id ORDER BY id DESC SEPARATOR '_') |+----------+----------------------------------------------------------+| AB086827 | 2_1 || AF040764 | 24_23 |+----------+----------------------------------------------------------+语句SELECT locus,GROUP_CONCAT(concat_ws(', ',id,journal) ORDER BY id DESC SEPARATOR '. ') FROM info WHERE locus IN('AB086827','AF040764') GROUP BY locus;的返回结果为+----------+--------------------------------------------------------------------------+| locus | GROUP_CONCAT(concat_ws(', ',id,journal) ORDER BY id DESC SEPARATOR '. ') |+----------+--------------------------------------------------------------------------+| AB086827 | 2, Submitted (20-JUN-2002). 1, Unpublished || AF040764 | 24, Submitted (31-DEC-1997) . 23, Unpublished
2、CONCAT_WS(SEPARATOR ,collect_set(column)) 等价于 GROUP_CONCAT()
3、Hive之列转行,行转列
列转行
测试数据
hive> select * from col_lie limit 10;OKcol_lie.user_id col_lie.order_id104399 1715131104399 2105395104399 1758844104399 981085104399 2444143104399 1458638104399 968412104400 1609001104400 2986088104400 1795054
把相同user_id的order_id按照逗号转为一行
select user_id,concat_ws(',',collect_list(order_id)) as order_value from col_liegroup by user_idlimit 10;//结果(简写)user_id order_value104399 1715131,2105395,1758844,981085,2444143
总结
使用函数：concat_ws(’,’,collect_set(column))
说明：collect_list 不去重，collect_set 去重。 column的数据类型要求是string
行转列
测试数据
hive> select * from lie_col;OKlie_col.user_id lie_col.order_value104408 2909888,2662805,2922438,674972,2877863,190237104407 2982655,814964,1484250,2323912,2689723,2034331,1692373,677498,156562,2862492,338128104406 1463273,2351480,1958037,2606570,3226561,3239512,990271,1436056,2262338,2858678104405 153023,2076625,1734614,2796812,1633995,2298856,2833641,3286778,2402946,2944051,181577,464232104404 1815641,108556,3110738,2536910,1977293,424564104403 253936,2917434,2345879,235401,2268252,2149562,2910478,375109,932923,1989353104402 3373196,1908678,291757,1603657,1807247,573497,1050134,340244401 814760,213922,045,3305934,2130994,1602245,419609,2502539,3040058,2828163,3063469104400 1609001,2986088,1795054,429550,1812893104399 1715131,2105395,1758844,981085,2444143,1458638,968412Time taken: 0.065 seconds, Fetched: 10 row(s)
将order_value的每条记录切割为单元素
select user_id,order_value,order_idfrom lie_collateral view explode(split(order_value,',')) num as order_idlimit 10;//结果user_id order_value order_id104408 2909888,2662805,2922438,674972,2877863,190237 2909888104408 2909888,2662805,2922438,674972,2877863,190237 2662805104408 2909888,2662805,2922438,674972,2877863,190237 2922438104408 2909888,2662805,2922438,674972,2877863,190237 674972104408 2909888,2662805,2922438,674972,2877863,190237 2877863104408 2909888,2662805,2922438,674972,2877863,190237 190237104407 2982655,814964,1484250,2323912,2689723,2034331,1692373,677498,156562,2862492,338128 2982655104407 2982655,814964,1484250,2323912,2689723,2034331,1692373,677498,156562,2862492,338128 814964104407 2982655,814964,1484250,2323912,2689723,2034331,1692373,677498,156562,2862492,338128 1484250104407 2982655,814964,1484250,2323912,2689723,2034331,1692373,677498,156562,2862492,338128 2323912Time taken: 0.096 seconds, Fetched: 10 row(s)
