背景:由于业务量的递增以及客户并发请求的递增,某些数据的返回需经大表(3000W以上)查询返回,返回数据时间由能接受到了完全不能接受的地步,需要对数据库进行相应优化
目前架构:A-B-C 相当于单主下边挂着单从库
方案一:
基于成本足够的情况下,数据库切分,可以考虑PXC(三节点最优)+mycat架构
优点:
缺点:
方案二:
成本不够的话,在原有的基础上进行表的分区,eg:业务基于时间段返回数据,可以通过range分区基于复合主键对时间段进行表的分区
优点:
缺点:
方案三:
基于现有业务可以接受的情况,引入数仓(hadoop大数据)离线计算,通过接口调用进行一个离线数据的返回
1、kylin 需要预先建模
2、presto 分布式,基于离线计算亚秒级返回
待完善
标签:返回,基于,分区,离线,查询,mysql,数据,大表 来源: https://www.cnblogs.com/byfboke/p/14485811.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。