首页 > 数据库> 文章详细

Java实现MySQL binlog日志监听

2022-01-22 21:58:55 阅读：246 来源： 互联网

标签：binlog bin.000077 Java MySQL mysql table 日志 id

使用案例

引入maven依赖

<dependency>
    <groupId>com.github.shyiko</groupId>
    <artifactId>mysql-binlog-connector-java</artifactId>
    <version>0.21.0</version>
</dependency>

监听binlog实现

public class App {
    public static void main(String[] args) throws Exception {
        BinaryLogClient logClient = new BinaryLogClient( 
                "127.0.0.1", 3306, "db", "root", "7654321"
        );
        logClient.registerEventListener(event -> {
            EventData data = event.getData();
            // 如果日志是更新记录
            if(data instanceof UpdateRowsEventData){
                long tableId = ((UpdateRowsEventData) data).getTableId();
                System.out.println("update: " + tableId);
            }else if(data instanceof WriteRowsEventData){
                long tableId = ((WriteRowsEventData) data).getTableId();
                // 如果日志是写操作
                System.out.println("write: " + tableId);
            }else if(data instanceof DeleteRowsEventData){
                long tableId = ((DeleteRowsEventData) data).getTableId();
                // 如果日志是删除操作
                System.out.println("delete: " + tableId);
            }
        });

        // 开始监听
        logClient.connect();
    }
}

binlog中的table_id

table_id 并不是固定的,它是当表被载入内存(table_definition_cache)时，临时分配的，是一个不断增长的变量。
当有新的table变更时，在cache中没有，就会触发一次load table def的操作，此时就会在原先最后一次table_id基础上+1，做为新的table def的id。
flush tables，之后对表的更新操作也会触发table_id 的增长。
如果table def cache过小，就会出现频繁的换入换出，从而导致table_id增长比较快。
重启主库使table_id 归0。
同一张表的table_id也不是一直不变的,记住,这个东西不是表定义的东西,是操作表的东西。

table_id的意义

任何一个东西都有它的意义,table_id也一样,它的作用是联系频繁DML操作和表结构的纽带.被包含在binlog中的Table_map_event（用于描述表的内部ID和结构定义）
假如一个insert更新了10000条数据，那么对应的表结构信息是否需要记录10000次列？其实是对同一个表的操作，所以binlog只是记录了一个Table_map用于记录表结构相关信息，而后面的Write_rows记录了更新数据的行信息。他们之间是通过table_id来联系的。
table_id用来做hash key，通过set_table(table_id)的方法将某个表的信息hash到cache中；又可以通过get_table()方法来根据table_id获得对应的表信息。

flush table

解释：关闭所有已打开的表对象，同时将查询缓存中的结果清空。就是说Flush tables的一个效果就是会等待所有正在运行的SQL请求结束。

flush tables;

flush table table1,table2...

binlog相关命令

-- 查询binglog日志列表
show binary logs;

-- 查询第一个(最早)的binlog日志
show binlog events; 
 
-- 指定查询 mysql-bin.000077 日志
show binlog events in 'mysql-bin.000077';
 
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查
show binlog events in 'mysql-bin.000077' from 1024;
 
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查起，查询10条
show binlog events in 'mysql-bin.000077' from 1024 limit 10;
 
-- 指定查询 mysql-bin.000077 日志，并且从pos=1024开始查起，偏移2行，查询10条
show binlog events in 'mysql-bin.000077' from 1024 limit 2,10;

reference

标签：binlog,bin.000077,Java,MySQL,mysql,table,日志,id
来源： https://blog.csdn.net/u010979642/article/details/112968788

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9