标签：get -- movie rate json hql 格式 数据

一、需求

1：数据来源
    豆瓣电影的评分数据
2：数据含义
    {"movie":"电影id","rate":"打分"}
3：需求
    统计出评分最高的TOP5电影出来，按照评分降序排序。

二、给出的原数据

文件名：电影评分记录.json
数据：

{"movie":"1193","rate":"3.8"}
{"movie":"661","rate":"3.4"}
{"movie":"914","rate":"4.5"}
{"movie":"3408","rate":"6.7"}
{"movie":"2355","rate":"5"}
{"movie":"1197","rate":"1.2"}
{"movie":"1287","rate":"6.3"}
{"movie":"2804","rate":"8"}
{"movie":"594","rate":"4.3"}
{"movie":"919","rate":"7.8"}
{"movie":"595","rate":"4"}
{"movie":"938","rate":"4.4"}
{"movie":"2398","rate":"6.5"}
{"movie":"2918","rate":"4.7"}

三、hql内置了两个处理json数据的函数

//查看这两个函数的用法
desc function get_json_object
desc function json_tuple

四、使用这两个函数解决需求

1.创建表，并导入数据

--1.创建表
create table t_movie(
	json string
)row format delimited
--fields terminated by '' //如果 一行只有一个json就不用使用列分隔符了

--2.从Linux文件系统中导入数据到表中
load data local inpath '/opt/data/电影评分记录.json' into table t_movie 
--3.查询表中的函数
select * from t_movie 

2.使用get_json_object实现

--方法1
select get_json_object(t.json,'$.movie') movie, get_json_object(t.json,'$.rate')  score
from t_movie t
order by (score) desc
limit 3

3.使用json_tuple实现

--方法2
select t2.* 
from t_movie t1 lateral view json_tuple(t1.json, 'movie', 'rate') t2 as movie, rate
order by (rate) desc
limit 3

//lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
//lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。

标签：get,--,movie,rate,json,hql,格式,数据
来源： https://blog.csdn.net/weixin_44079636/article/details/118692587

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。