标签：知识点 value 转列 k1 Hive key id select

传统关系型数据库中，无论是Oracle（11g之后）还是SQLserver（2005之后），都自带了Pivot函数实现行转列功能，本文主要讲述在Hive中实现行转列的两种方式。

这种方式是借鉴在Oracle或者SQLserver在支持Pivot函数之前实现行转列的方式，实际上语法没有什么变化，只是换成了Hive。

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,
       max(case when key='k1' then value else null end) k1,
       max(case when key='k2' then value else null end) k2
  from testtable
 group by id

这种方式的思路是把需要转列的字段及其值字段拼接成一个Hive上的key-value的map数据，具体Sql如下：

with testtable(
select 1 id,'k1' key,123 value
  union all
select 1,'k2' key,124 value
  union all
select 2,'k1',234 value
  )
select id,kv['k1'],kv['k2']
from (
select id,str_to_map(concat_ws(',', collect_set(concat(key, '-', value))),',','-') kv
from testtable
 group by id)t

两种方式都可以实现行转列的功能，传统的方式易于理解，但在key的取值比较多的时候，写起来会相当繁琐，map的方式相对要简便一些。但map的方式所有的数据都collect到一起了，对内存的要求会高一些，而传统的方式通过聚合函数直接reduce，可以边运行边求值。

点赞和转发是最大的支持～

标签：知识点,value,转列,k1,Hive,key,id,select
来源： https://blog.51cto.com/u_9928699/2896924

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。