标签：12 string -- Hive SQL date Spark 2011 select
Hive数据类型
基本数据类型【1】
| 数据类型 | 所占字节 |
|---|---|
| TINYINT | 1字节整数 |
| SMALLINT | 2字节整数 |
| INT/INTRGER | 4字节整数 |
| BIGINT | 8字节整数 |
| FLOAT | 4字节单精度浮点数 |
| DOUBLE | 8字节双精度浮点数 |
| DATE | |
| STRING |
复杂数据类型
| 数据类型 | 描述 | 示例 |
|---|---|---|
| ARRAY | 一组有序字段。字段类型必须相同 | Array(1,2) |
| MAP | 一组无序的键值对，键的类型必须是原子的，值可以是任何类型，同一个映射的键的类型必须相同，值的类型也必须相同 | Map('a',1,'b',2) |
| STRUT | 一组命名的字段，字段类型可以不同 | Struct('a',1,1,0) |
分区表
hive中没有索引，导致查询速度很慢，如果不设置分区，则每次查询会全表扫描
- 如果该表为分区表时，在where条件中必须对分区字段进行限制
- 如果该表为分区表且为全量表，需要注意分区字段的限制情况
- 如：where dt=get_dt_date(get_date(-1))
and dt between '20210813' and '20210814' 是不行的 - 全量表： 一个dt就是截至对应dt及以前的历史全量数据，所以只需要拿最新的dt就是最新全量数据。如果对全量分区表的分区字段（dt）进行范围选择，会导致报错。 （订单表一般是全量表，或者说除了流量、曝光这些发生了之后状态就不会再变化的表是增量表以外，其他基本都是全量表）
- 增量表：一个dt只是当天的数据，一天天累计下来，所以就叫增量表。（流量表一般是增量表）
- 如：where dt=get_dt_date(get_date(-1))
- Q:非分区表的全量表是否可以直接对dt进行范围的选择呢？
执行顺序
from->where->group by->having->select->order by->limit
时间函数
hive数据库中存储的时间是string类型的(string是字符串，int是整数)
把时间戳转为日期
- from_unixtime(paytime,'yyyy-MM-dd hh:mm:ss')
转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式，返回值: string
select from_unixtime(1323308943,'yyyy-MM-dd HH:mm:ss');
--2011-12-08 09:49:03
select from_unixtime(1323308943,'yyyyMMdd');
--20111208
select from_unixtime(1323308943,'yyyy-MM-dd');
--2011-12-08
select from_unixtime(1323308943,'yyyy-MM');
--2011-12
把日期转为时间戳
- unix_timestamp(string date)
select unix_timestamp()
--1323309615(获得当前时区的UNIX时间戳)
select unix_timestamp('2011-12-07 13:01:03')
--1323234063(转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0。)
select unix_timestamp('20111207 13:01:03','yyyyMMdd HH:mm:ss');
--1323234063
select unix_timestamp('2011-12-07 13:05','yyyy-MM-dd HH:mm');
--1323234300
select unix_timestamp('2011-12','yyyy-MM');
--1322668800（转换pattern格式的日期到UNIX时间戳。如果转化失败，则返回0）
只能识别 2011-12-07 13:01:03 这种完全格式的时间,返回值: bigint
日期转换函数
- date_format（date/timestamp/string ts, string fmt）
select date_format('2015-04-08', 'y');
--2015
select date_format('2015-04-08', 'yyyy');
--2015
select date_format('2015-04-08', 'yyyy-MM');
--2015-04
select date_format('2015-04-08 10:10:01', 'yyyy-MM');
--2015-04
select date_format('2015-04-08', 'yyyy-MM-dd');
--2015-04-08
日期时间转日期
- to_date(string timestamp)
说明: 返回日期时间字段中的日期部分。返回值:string,year()、month()、day（）、month（）、minute（）、second（）同理。
select to_date('2011-12-08 10:03:01');
--2011-12-08
select to_date('2011-12-08');
--2011-12-08
select to_date('2011-12');
--NULL
日期转周
- weekofyear (string date)
说明: 返回日期在当前的周数,返回值: int
select weekofyear('2011-12-08 10:03:01');
--49
计算日期间隔
- datediff(string enddate,string startdate)
结束时间-开始时间
日期减少函数
- date_sub(stringstartdate,int_days)
日期增加函数
- date_add(string,startdate,int days)
格式转换函数
- CAST (expression AS data_type)
CAST()函数将任何类型的值转换为具有指定类型的值。目标类型可以是以下类型之一：BINARY，CHAR，DATE，DATETIME，TIME，DECIMAL，SIGNED，UNSIGNED
cast(create_time as timestamp)
--把create_time创建时间转化成timestamp类型
条件函数
- case when
- if
字符串函数
截取函数
- substr(string,int start,int len)如果不指定截取长度，则从起始位一直截取到最后
json提取函数
- string型字符串，存储为json格式：get_json_object(string json_string,'\(字段名')（'\)字段名）为string path
在json字符串中提取出想要的字段和值
--如在字段extra1(string)：{"systemtype": "android", "education": "doctor", "marriage_status": "1", "phonebrand": "VIVO"} ；提取出extra1和extra2中的手机品牌:
select get_json_object(extra1,'$.phonebrand') as phone_brand,count(distinct user_id)
from user_info
group by get_json_object(extra1,'$.phonebrand');
- map<string,string>,存储为json格式：**extea2['字段名']
替换函数
- regexp_replace（string,'要被替代的','替代的'）
regexp_replace(substr(create_time,1,10),'-','')
regexp_replace(to_date(create_time),'-','')
替换NULL值函数
- if null():IFNULL函数接受两个参数，如果不为NULL则返回第一个参数，否则返回第二个参数
- coalesce():COALESCE函数需要许多参数，并返回第一个非NULL参数。如果所有参数都为NULL，则COALESCE函数返回NULL,如果参数的数量为2，则与if null相同
聚合统计函数
sum()、count()等（sum(),avg(),max(),count(),min()这五个聚合函数之间不可以互相嵌套。 如不允许嵌套组合avg(count(*))；）
多表连接查询
- 在连接查询时，先去重，再做表连接，先连接再去重执行效率会低。
- 在表的数据量级很大的时候先分别查询出结果再进行连接效率会快些。
- 多表关联时尽量key相同，会当成同一个mr任务执行
应用技巧
where 1=0
where 1=0; 这个条件始终为false，结果不会返回任何数据，只有表结构，可用于快速建表或者观察表结构
连接字段类型
在连接表时，需要注意表的连接条件的字段类型是否是一致的，如果出现不一致的情况，需要进行转换
如：表1和表2的连接条件为user_id，如果表1的user_id是bigint型，表2的user_id是string型，如果直接连接，则会导致数据出现的膨胀的情况，则需要对数据进行转换，如cast(user_id as bigint),，将string类型的user_id转换成整型的user_id。
中位数
percentile_approx(字段名,0.5)
优化
order by优化【3】
order by会引发全局排序，使用distribute和sort进行分组排序效率更快（sort by 替换order by，配合distribute by一起使用）
select * from store cluster by merid;
select *
from store
distribute by
merid sort by merid asc
distinct优化【5】
能使用group by代替distinct就不要使用distinct,group by 代替distinct去重数据，会有多个mapreduce执行，大数据量情况下比较好用。
join优化【4】
小表前置，因为hive在解析sql的时候会把第一个表放进内存
参考
-
【1】Hive基本简介和基础语句：https://zhuanlan.zhihu.com/p/154379734
-
【2】在互联网公司实习中使用Hive SQL的一些体会和注意点：https://zhuanlan.zhihu.com/p/214254848
-
【3】hive中distribute by 、sort by 、cluster by 、order by的区别：https://www.jianshu.com/p/193b69210a82
-
【4】hive中sql优化有哪些：https://zhuanlan.zhihu.com/p/133455414
-
【5】hive group by distinct区别以及性能比较：https://blog.csdn.net/xiaoshunzi111/article/details/68484426
标签：12,string,--,Hive,SQL,date,Spark,2011,select 来源： https://www.cnblogs.com/HLBBLOG/p/15141474.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。