ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

延迟物化

2022-09-16 21:02:35  阅读:299  来源: 互联网

标签:物化 k2 k1 table order select 延迟


物化我的理解就是获取某一个结果(或是这中间结果)
比如我有一个表 table: k1,k2,v1,v2,v3
如果我执行一个简单的SQL

select k1,k2 from table

如果我们的数据存储格式是按列组织的(列存),那么我们只需要物化k1,k2 (只需要扫描k1,k2所在的列),而v1,v2,v3在这个查询中不需要物化(这样可以减少大量的IO)

延迟物化:
延迟物化就是尽可能推迟物化的阶段
比如这样的一个SQL

select sum(v1), sum(v2), sum(v3) from table where k1 < 1000 and k2 < 2000;

在不考虑索引的前提下,如果不进行延迟物化,那我们就需要把k1,k2,v1,v2,v3 所有的数据都读取出来,然后从里面筛选出来想要的列。

但是如果我们最终结果集不是很多,而计算的列特别多,这个时候我们会扫描大量的数据。

对于这种情况。延迟物化是这一类case解决思路
我们不需要扫描所有的数据,我们可以只扫描 k1 < 1000 and k2 < 2000 的数据

在没有索引加速的情况下,我们可以先把 k1和k2这两列扫描出来另外,然后我们通过k1 k2的行号把剩余的其他列扫描出来。

除了filter之外,其实很多算子也是可以用延迟物化加速的。例如order by limit

select * from table order by k1 limit 10;

这个查询可能会扫描大量的数据,然后再做一个order by

但是这个查询的结果集只有10行。而且order by的一列,因此这个query我们可以这样改写:

select * from table where k1 in (select k1 from table order by k1 limit 10) order by k1 limit 10;

标签:物化,k2,k1,table,order,select,延迟
来源: https://www.cnblogs.com/stdpain/p/16701171.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有