首页 > 数据库> 文章详细

记一次线上MySQL数据归档方案

2020-12-30 09:57:06 阅读：592 来源： 互联网

标签：varchar latin1 -- aj 线上归档 MySQL NULL archive

由于线上的MySQL实时表数据量太大，即使建了索引查询速度也不理想，上周下班前经理让我对线上MySQL的七张源数据层面的实时表进行归档，现表仅保留近三天的数据，三天之前的数据全部归档到历史表中

一、基本思想

考虑到按照时间进行归档，因此MySQL按时间创建分区表，并且动态维护每张历史表的分区，将三天前的数据插入到历史表中，根据时间的不同会落到不同的分区中；校验数据量在没有丢失的情况下删除原表数据并记录日志。

二、前期准备

所谓磨刀不误砍柴工，首先需要了解MySQL分区表的理论、如何创建分区表、如何动态维护分区表…

2.1 MySQL创建分区表

原表的字段基本都是varchar类型，为了方便分区创建历史表的同时增加一个归档日期字段，并按照该字段进行分区给定一个初始分区

DROP TABLE IF EXISTS `aj_gaaj_archive `;
CREATE TABLE `aj_gaaj_archive `
(
    ...,
    `BACKUP_TIME` date comment '归档日期'
) PARTITION BY RANGE (to_days(`BACKUP_TIME`))(
        partition p20201224 values less than (to_days('20201225'))
        );

查看分区表的分区情况

SELECT partition_name                   part,
       partition_expression             expr,
       partition_description            descr,
       FROM_DAYS(partition_description) lessthan_sendtime,
       table_rows
FROM INFORMATION_SCHEMA.partitions
WHERE TABLE_SCHEMA = SCHEMA()
  AND TABLE_NAME = 'aj_gaaj_archive';

2.2 MySQL分区表维护

使用过hive的都知道，hive是可以进行动态分区的，根据数据的不同动态的添加分区，据了解MySQL不支持这种功能，因此需要我们手动的去增加分区，从一位老哥的博客中拔下一段方便维护分区表的存储过程 [传送门]

create procedure auto_set_partitions(in databasename varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
                                     in tablename varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
                                     in partition_number int, in partitiontype int, in gaps int)
L_END:
begin
    declare max_partition_description varchar(255) default '';
    declare p_name varchar(255) default 0;
    declare p_description varchar(255) default 0;
    declare isexist_partition varchar(255) default 0;
    declare i int default 1;

    -- 查看对应数据库对应表是否已经有手动分区[自动分区前提是必须有手动分区]
    select partition_name
    into isexist_partition
    from information_schema.partitions
    where table_schema = databasename
      and table_name = tablename
    limit 1;
    -- 如果不存在则打印错误并退出存储过程
    if isexist_partition <=> '' then
        select 'partition table not is exist' as "ERROR";
        leave L_END;
    end if;

    -- 获取最大[降序获取]的分区描述[值]
    select partition_description
    into max_partition_description
    from information_schema.partitions
    where table_schema = databasename
      and table_name = tablename
    order by partition_description desc
    limit 1;

    -- 如果最大分区没有,说明没有手动分区,则无法创建自动分区
    if max_partition_description <=> '' then
        select 'partition table is error' as "ERROR";
        leave L_END;
    end if;

    -- 替换前后的单引号[''两个引号表示一个单引号的转义]
    -- set max_partition_description = REPLACE(max_partition_description, '''', '');
    -- 或使用如下语句
    set max_partition_description = REPLACE(max_partition_description - 1, '\'', '');

    -- 自动创建number个分区
    while (i <= partition_number)
        do
            if (partitiontype = 0) then
                -- 每个分区按天递增,递增gaps天
                set p_description = DATE_ADD(FROM_DAYS(max_partition_description), interval i * gaps day);
            elseif (partitiontype = 1) then
                -- 每个分区按月递增,递增gaps月
                set p_description = DATE_ADD(FROM_DAYS(max_partition_description), interval i * gaps month);
            else
                -- 每个分区按年递增,递增gaps年
                set p_description = DATE_ADD(FROM_DAYS(max_partition_description), interval i * gaps year);
            end if;
            -- 删除空格
            set p_name = REPLACE(p_description, ' ', '');
            -- 例如10.20的记录实际是less than 10.21
            set p_description = DATE_ADD(p_description, interval 1 day);
            -- 如果有横杆替换为空
            set p_name = REPLACE(p_name, '-', '');
            -- 删除时间冒号
            set p_name = REPLACE(p_name, ':', '');
            -- alter table tablename add partition ( partition pname values less than ('2017-02-20 10:05:56') );
            set @sql = CONCAT('ALTER TABLE ', tablename, ' ADD PARTITION ( PARTITION p', p_name,
                              ' VALUES LESS THAN (TO_DAYS(\'', p_description, '\')))');
            -- set @sql=CONCAT('ALTER TABLE ', tablename ,' ADD PARTITION ( PARTITION p', p_name ,' VALUES LESS THAN (TO_DAYS(\'', p_description ,'\')))');
            -- 打印sql变量
            -- select @sql;
            -- 准备sql语句
            PREPARE stmt from @sql;
            -- 执行sql语句
            EXECUTE stmt;
            -- 释放资源
            DEALLOCATE PREPARE stmt;
            -- 递增变量
            set i = (i + 1);

        end while;
end;

三、本地实施

因为归档的表属于ODS级别，不得不慎重啊，稍有不慎就要跑路的

标签：varchar,latin1,--,aj,线上,归档,MySQL,NULL,archive
来源： https://blog.csdn.net/qq_41858402/article/details/111941451