NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。 CONCAT(col, col2…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串
第一题 需求： 我们有如下的用户访问数据： userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 U02 2017/1/23 6 U01 2017/2/22 4 要求使用SQL统计出每个用户的累积访问次数，如下表所示： 用户id 月份 小
直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！ 1.删除： insert overwrite tmp select * from tmp where id != '666'; 复制代码 2.更新： 直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将
创建表 create table person( id int comment "唯一标识", name string comment "名称", likes array<string> comment "爱好", address map<string,string> comment "地址" ) row format delimited fields terminated by ",&quo
目录 0-需求1-数据分析2-总结 0-需求 如果数据中存在字符和数字混在一起的情况且放在一列中，此时需要将其中的数字数据和字符数据分开，分别单独成为一列，应该怎么做？ 如下数据： FLINK434354 HADOOP67889 HBASE500019 KAFKA15999 SQOOP13332 HELLO57000 SPARK13000 需要将中文
报错信息如下： INFO : Exception: Too many counters: 121 max=120 at org.apache.tez.common.counters.Limits.checkCounters(Limits.java:86) at org.apache.tez.common.counters.Limits.incrCounters(Limits.java:93) at org.apache.tez.common.counters.AbstractCounterGroup
hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行. 而参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大可以同时
大致流程： 1、客户端连接hiveserver2（目前大叔多通过beeline连接，hive cli模式相对较重，且直接略过元数据）建立回话 2、提交sql，通过driver进行编译，解析，优化逻辑计划，生成物理计划 3、对物理计划执行优化，并提交到计算引擎 4、返回结果 详细流程 1、 客户端提交查询语句，被driver处理，转
一、常用聚合函数 count():计数 count(distinct 字段) 去重统计 sum():求合 avg():平均 max():最大值 min():最小值 二、hivesql执行顺序 from --> where --> group by --> having --> select--> order by--> limit 三、常用函数 1.毫秒时间戳转日期精确到秒 select
需求：查询出type 类型是1合2的所有用户信息，但是type=2的用户必须是 sex=1 已知语句 select * from op_al_dd_retain_v where type in (1,2) SELECT * FROM op_al_dd_retain_v WHERE type IN ( 1, 2 ) AND ( CASE WHEN type = 1 AND sex ！= 1 THEN 0 ELSE 1 END ) = 1以上查询
Hive SQL调优 使用分区裁剪、列裁剪少用count（distinct）多对多的关联合理使用MapJoin合理使用Union ALL并行执行job使用本地MR避免数据倾斜控制Map数和Reduce数 Hive sql 的调优在我们日常的工作生活中经常用到,因此,这里做一下细致的总结和归纳。 使用分区裁剪、列裁剪
HiveSQL HiveSQL入门，了解一下？
目 录 0 需求分析 1 数据准备 2 数据分析 3 小 结 0 需求分析 如下为平台商品促销 数据： 字段为品牌，打折开始日期，打折结束日期 id stt edtoppo2021-06-052021-06-09oppo2021-06-112021-06-21vivo2021-06-052021-06-15vivo2021-06-092021-06-21redmi2021-06-052021-06-21redmi2
很高兴遇到你~ （1）Hive常用日期格式处理 （2）Hive常用函数 （3）Hive常用语句（实用） 数据加载清理与建表 表检索与表结构查询 （4）HiveSQL使用技巧与优化 （5）HiveSQL使用注意项 HiveSQL使用技巧与优化 SQL执行顺序：FROM->JOIN->WHERE->GROUP BY->HAVING->SELECT->ORDER BY->LIMIT distinct
很高兴遇到你~ （1）Hive常用日期格式处理 （2）Hive常用函数 （3）Hive常用语句（实用） 数据加载清理与建表 表检索与表结构查询 （4）HiveSQL使用技巧与优化 （5）HiveSQL使用注意项 Hive常用日期格式处理 --获取当前日期 select current_date; --2021-06-20 select current_timestamp; --2021-
面试题目一 场景:一个日志表中记录了某个商户费率变化状态的所有信息，现在有个需求,要取出按照时间轴顺序，发生了状态变化的数据行； 1.数据如下: create table datafrog_merchant (f_merchant_id varchar(20), f_rate varchar(20), f_date date ); insert into datafrog_merchant v
7 手写HQL 第7题 有一个线上服务器访问日志格式如下（用sql答题） 时间 接口 ip地址 2016-11-09 11：22：05 /api/user/login 110.23.5.33 2016-11-09 1
10 手写HQL 第10题 1.用一条SQL语句查询出每门课都大于80分的学生姓名 name kecheng fenshu 张三 语文 81 张三 数学 75 李四 语文 76 李四 数学 90 王五 语文 81 王五 数学 100
1 分组求TopN 一、先看数据： 使用HiveSQL常用的方式为： Select * from table, row_number() over(partition by item order by score desc) rank where rank<=2; 二、输出结果为： 三、解析：row_number()函数基于over对象分组、排序的记过，为每一行分组记录返回一个序号，该序号从1开始，
Hive SQL基本上适用大数据领域离线数据处理的大部分场景。Hive SQL的优化也是我们必须掌握的技能，而且，面试一定会问。那么，我希望面试者能答出其中的80%优化点，在这个问题上才算过关。 Hive优化目标 在有限的资源下，执行效率更高 常见问题 数据倾斜 map数设置 reduce数
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。 《2021年最新版大
Hive SQL基本上适用大数据领域离线数据处理的大部分场景。Hive SQL的优化也是我们必须掌握的技能，而且，面试一定会问。那么，我希望面试者能答出其中的80%优化点，在这个问题上才算过关。 Hive优化目标 在有限的资源下，执行效率更高 常见问题 数据倾斜 map数设置 reduce数设置 其他
Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。 《2021年最新版大
一、 on 和 where 条件执行顺序 inner join： 二者同时发挥作用。 若有「分区」条件，则优先执行分区条件。 会对on中关联键进行 is not NULL 过滤操作 left join/right join: 非主表时：先执行on ，再执行left join，再执行where 主表：先 where on ,再执行left join Tip: a left jo
数学函数 保留几位小数(四舍五入) -- MySQL可用 select round(1.23456, 3) AS f; -- 取值为 1.235 向下取整 -- MySQL可用 SELECT FLOOR(1.234) AS I; -- 取值为1 求开方 -- MySQL可用 SELECT SQRT(9) AS s; -- 取值3.0 求模|求余数 -- MySQL不可用 SELECT
