标签：实时处理 省份 用户 Streaming 当日 Spark 数据 日志 统计
1、实时需求：
输入数据是以序列化的方式一个个输入并进行处理的，在开始时并不知道所有的输入数据。与离线计算相比，运行时间短，计算量相对较小，强调计算过程的时间要短，即所查当下给出结果。
2、数据流程设计：
数据来源有两部分：
第一部分是web/App交互的业务日志数据（暂不讨论这部分）；
第二部分是前端埋点用户行为数据（即用户点击操作等产生的数据），这里采用模拟生成数据的方式，编写日志服务器Springboot程序接收数据，使用Nginx进行负载均衡，然后发送给kafka…（后面做到再讲）
本项目需求：
- 当日用户首次登陆（日活）分时趋势图，昨日对比
从项目的日志中获取用户的启动日志，如果是当日第一次启动，纳入统计。将统计结果保存到 ES 中，利用Kibana 进行分析展示
- 当日新增付费用户（首单）分析（ods+dwd）
按省份|用户性别|用户年龄段，统计当日新增付费用户首单平均消费及人数占比；无论是省份名称、用户性别、用户年龄，订单表中都没有这些字段，需要订单（事实表）和维度表（省份、用户）进行关联，形成宽表后将数据写入到 ES，通过 Kibana 进行分析以及图形展示。
- 订单明细实付金额分摊体积交易额统计（dws）
- ADS聚合及可视化（ads）
以热门品牌统计为案例
采用到的技术：
标签：实时处理,省份,用户,Streaming,当日,Spark,数据,日志,统计 来源： https://blog.csdn.net/yunweijie_cn/article/details/121431246
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。