标签：商数 bin server 采集 mysql kafka 节点 canal

1  mysql的准备

1.1 导入模拟业务数据库

1.2 赋权限

   在mysql中执行

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

 1.3 修改/etc/my.cnf文件

server-id= 1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=gmallXXXXX

1.4 重启Mysql

2 canal 安装

2.1 canal的下载 

https://github.com/alibaba/canal/releases

把canal.deployer-1.1.4.tar.gz拷贝到linux,解压缩

2.2 修改canal的配置

vim conf/canal.properties

这个文件是canal的基本通用配置，主要关心一下端口号，不改的话默认就是11111

 

 

 

vim conf/example/instance.properties

instance.properties是针对要追踪的mysql的实例配置

 

 

 

 

 

 

2.3  把canal目录分发给其他虚拟机

 

2.4 在2-3台节点中启动canal 

启动canal

./bin/startup.sh

2.5 只是高可用，不是高负载

     这种zookeeper为观察者监控的模式，只能实现高可用，而不是负载均衡，即同一时点只有一个canal-server节点能够监控某个数据源，只要这个节点能够正常工作，那么其他监控这个数据源的canal-server只能做stand-by，直到工作节点停掉，其他canal-server节点才能抢占。

3 kafka客户端测试

 

/bigdata/kafka_2.11-0.11.0.2/bin/kafka-console-consumer.sh --bootstrap-server  hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic  GMALL2020_DB

 

标签：商数,bin,server,采集,mysql,kafka,节点,canal
来源： https://www.cnblogs.com/qiu-hua/p/13658759.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。