首页 > 其他分享> 文章详细

Maxwell部署配置整理

2022-04-30 20:34:29 阅读：205 来源： 互联网

标签：部署 Maxwell mysql kafka -- test maxwell 整理 dw

整理一下以前的笔记：

　　项目背景:

　　　　需要使用Maxwell进行对MySQL的业务库数据采集到Kafka

　　版本选择：当时v1.29.1开始支持HA

　　参考文档：https://maxwells-daemon.io/quickstart/
　　下载地址：https://github.com/zendesk/maxwell/releases/tag/v1.29.1

　　解压：tar -zxvf maxwell-1.29.1.tar.gz -C /opt/soft

　　mysql权限：

mysql> GRANT ALL on maxwell.* to 'maxwell'@'%' identified by 'maxwell1223';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%';

mysql> flush privileges;

　　重启mysql: service mysqld restart

　　Maxwell启动:

# 过滤数据库 只采集dw_test

#要提前创建kafka_topic dw_test

/opt/soft/maxwell-1.26.3/bin/maxwell --user='maxwell' --password='maxwell1223' --host='127.0.0.1' \
--producer=kafka --kafka.bootstrap.servers=cdh01:9092,cdh02:9092,cdh03:9092 \
--kafka_topic=dw_test --filter 'exclude: *.*, include: dw_test.*'

　　kafka监控：　　kafka-eagle http://cdh02:8048/
　　kafka消费：

kafka-console-consumer.sh \
--bootstrap-server cdh01:9092,cdh02:9092,cdh03:9093 \
--topic dw_test \
--from-beginning

　　mysql建表：

CREATE TABLE `test01` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'key',
`host` varchar(45) DEFAULT NULL COMMENT 'ip',
`port` int(11) DEFAULT NULL COMMENT 'process id',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

　　插入数据测试：

insert into test01 (host,port) VALUES ('127.0.0.1',99)
insert into test01 (host,port) VALUES ('127.0.0.1',133)

　　kafka消费者消费：

　　
{"database":"dw_test","table":"test01","type":"insert","ts":1651319606,"xid":65972,"commit":true,"data":{"id":1,"host":"127.0.0.1","port":99}}
{"database":"dw_test","table":"test01","type":"insert","ts":1651319687,"xid":67733,"commit":true,"data":{"id":2,"host":"127.0.0.1","port":133}}

标签：部署,Maxwell,mysql,kafka,--,test,maxwell,整理,dw
来源： https://www.cnblogs.com/huangguoming/p/16211163.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Maxwell部署配置整理