前言 在数据库查询中，经常用到表关联，听到最多的规则是 “小表驱动大表”。那么问题来了 什么是小表驱动大表 ？ 为什么要用小表驱动大表 ？ 怎么区分那个是驱动表与被驱动表 ？ JOIN 查询如何选择驱动表与被驱动表 ? 索引应该建在驱动表还是被驱动表 ？ 什么是小表驱动大表 ？ 小表驱动大表
水平分表 把一个大表，拆分成多个小表，大表和小表的字段完全一致，只是小表的数据加一起才是大表的数据（如大表的资料有三个月的人员刷卡资料。小表分别会存一个月的刷卡资料） 垂直分表 把一个大表，拆分成多个小表。小表的字段总和（除id）等同于大表字段 例如：大表字段为id,empno,chname,
目录 什么是水平分表？ 什么是垂直分表？ 为什么要垂直分表？ InnoDB处理引擎 InnoDB1.0后新特性，压缩页 垂直分页分析 垂直分表条件 字段放大小表的依据 什么是水平分表？ 按行为单位对数据进行拆分（范围法，hash法）。特点：所有的表结构完全相同。用于解决数据量大的存储问题。 什么是垂直
blocked nested loop join使用了数组arr[join_buffer_size]，如果外层小表数量把数组撑满了，然后到内层大表中全表扫描查询数据，把符合条件的数据保存下来，然后清空数组，再到外层小表中把数组撑满如此往复，直到小表没数据了，查询也就结束了，内层大表查询不用索引，也可以测试内层大表用了索引
(1) 数据存储及压缩。 针对hive中表的存储格式通常有orc和parquet，压缩格式一般使用snappy。相比与textfile 格式表，orc 占有更少的存储。因为 hive 底层使用 MR 计算架构，数据流是 hdfs 到磁盘再到 hdfs，而且会有很多次，所以使用 orc 数据格式和 snappy 压缩策略可以降低 IO 读写
如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理 开启MapJoin参数设置 设置自动选择Mapjoin（ 默认为false）：set hive.a
1.三个case以内或者散乱分布 相当于if-else语句 不需要生成大表 2.sub a,b (生成大表 大表每4bytes取一次值 a为参数 b为case最小值) cmp c,d (c为sub后传入局部变量的值 d为case最大值与最小值的差值) 3.case建议连续且相近 若删除部分case则大表填充default的地址 4.中
1.map join无reduce操作，所以没有shuffle。这样可以减少大量的网络I/O。（如：大表文件数500、文件250M，小表20M。map join的网络I/O共50020M，Common join的网络I/O共500250M+20M），同时不需要进行map sort和shuffle sort排序。 2.由于Common join的一个reduce包含两张表的数据，所以进行reduc
in：子查询为小表 该子查询返回数据放入内存，在主查询中对应内容。 exists：子查询为大表 该子查询实际上并不返回任何数据，而是返回值True或False。（子查询中的select *与select 1没有区别，因为只返回true或false）
MapJoin 如果不指定 MapJoin 或者不符合 MapJoin 的条件，那么Hive解析器会将 Join 操作转换成 Common Join，即：在 Reduce 阶段完成 join。容易发生数据倾斜。可以用 MapJoin 把小表全部加载到内存在 map 端进行 join ，避免 reducer 处理。 一，开启MapJoin参数设置 （1）设置自动选择Mapj
前言 本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark异常问题汇总 问题描述 在开发 Spark SQL 的时候，遇到了一个问题 一个小表 3G 左右， 然后需要 left join 两个大表，一个150
1、分析 （1）小表永远驱动大表 （2）order by关键字优化 小总结： 默认的 age 和birth默认是升，全升和全降不可以，升降或者降生造成filesort
distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计的，两者在能够实现的功能上有些相同之处，但是2者的性能差距很大 对于一个84万数据量的表，count(distinct(XXX))的查询需要20s，而group by仅需1s，性能相差20倍 原理分析： distinct方式就是两两对比，需要遍历整个表，大多
当一个大表和小表进行join操作时，使用mapjoin性能比普通的join要快很多，mapjoin还能解决数据倾斜问题，基本原理：在小数据量情况下，会将小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。 大小表join时，将小表放在前面，会将小表进行缓存。 mapjoin将小表放入内存，在map端
当一个大表和小表进行join操作时，使用mapjoin性能比普通的join要快很多，mapjoin还能解决数据倾斜问题，基本原理：在小数据量情况下，会将小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。 大小表join时，将小表放在前面，会将小表进行缓存。 mapjoin将小表放入内存，在map端
如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理 开启MapJoin参数设置 设置自动选择Mapjoin（ 默认为true）：set hive.auto
驱动表与被驱动表 先了解在join连接时哪个表是驱动表，哪个表是被驱动表：1.当使用left join时，左表是驱动表，右表是被驱动表2.当使用right join时，右表时驱动表，左表是驱动表3.当使用join时，mysql会选择数据量比较小的表作为驱动表，大表作为被驱动表 join查询如何选择驱动表与被驱动表
大数据计算通常会存在大表join小表的情况，如果相对较小的表允许广播到各个executor的话，可以使用广播方式mapjoin，这样还可以避免数据倾斜。 平时看文档记着有个参数是： spark.sql.autoBroadcastJoinThreshold 10485760 (10 MB) Configures the maximum size in bytes for a table
