标签：数仓 presto sqoop hive ---- 客户 项目 客户端

背景：客户行为数据越积越多，公司有着挖掘客户大数据分析的需求

方案： 通过大数据仓库离线分析+presto引擎工具实现

用到的组件：hadoop2.7.4   、  hive-1.2.1(不要用2.X版本，坑很多)  、  sqoop-1.4.6 、  presto-server

运作流程：

1、sqoop将关系型数据库mysql的数据以分桶文件格式导入hive    sqoop---->hdfs---->hive

2、调优hive的mapreduce参数

3、配置：presto链接hive    安装：presto客户端  使用：通过presto客户端查询所需数据    界面化：提供presto的UI界面，设定好查询SQL，打好标签，供客户使用

标签：数仓,presto,sqoop,hive,----,客户,项目,客户端
来源： https://www.cnblogs.com/byfboke/p/14415049.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。