canal的使用

2022-05-23 22:32:01 阅读：153 来源： 互联网

标签：canal binlog log 配置使用 mysql MySQL

一、简介

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。

二、工作原理

MySQL主备复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

三、安装配置

本文基于canal的版本是1.1.5。配置的示例为从增量从mysql到消息队列kafka的例子。

1、mysql的binlog日志开启的配置

在mysql配置文件中修改配置，如果是默认mysql安装的，linux可以到/etc/my.cnf下修改配置，window在my.ini下修改。

如上图：在[mysql]区域中添加下面的配置

server-id=1

# 开启binlog
log-bin=mysql-bin

# 选择ROW模式
binlog-format=ROW

# 可以不设置，即所有数据库都启用
binlog-do-db=启用binlog的数据库名称，多个可以使用逗号隔开

然后重新启动mysql

sudo systemctl restart mysqld

使用下面命令查看是否已经有binlog日志生成

sudo ls /var/lib/mysql

如果有下图红框类型的binlog文件生成，就表示开启成功

2、下载

下载可以到github上对资源包进行下载
地址：https://github.com/alibaba/canal
如果下载困难，可以到csdn资源地址上下载，也可联系我
地址：https://download.csdn.net/download/Chenftli/85084080

3、解压

解压时一定要创建好canal的目录，如果你直接使用上级目录就会直接将bin、conf、log等文件解压到上级目录里。
创建安装目录

mkdir /book/install/canal-1.1.5

将下载好的压缩包解压到安装目录下

tar -zxvf canal.deployer-1.1.5.tar.gz -C /book/install/canal-1.1.5

4、修改全局配置

cd到配置目录

cd /book/install/canal-1.1.5/conf

配置全局配置文件

vim /book/install/canal-1.1.5/conf/canal.properties

如图修改如下配置：

上面分别配置了zookeeper地址、消息队列使用kafka，kafka的server地址，这里我们没有修改canal.destinations配置，默认使用example，所以接下来的实例配置conf/example中。

5、修改实例配置

实例的配置在.conf/example下，修改instance.properties配置文件

vim instance.properties

修改如下配置：

# mysql数据库的地址
canal.instance.master.address=node01:3306

# mysql的用户名、密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

# 消息队列
canal.mq.topic=example
canal.mq.partition=0

四、启动示例、测试

cd到安装canal的bin文件下，使用startup.sh脚本启动

cd /book/install/canal-1.1.5/bin

startup.sh

使用kafka消费端查看对于topic是否可以接收到mysql变动的数据

./bin/kafka-console-consumer.sh --bootstrap-server 你的kafka集群地址 --topic canal中配置的kafkatopic

五、参考

[1] alibaba canal github：https://github.com/alibaba/canal

标签：canal,binlog,log,配置,使用,mysql,MySQL
来源： https://www.cnblogs.com/dalichengzi/p/16303637.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9