ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

MySQL数据直接实时同步到ES

2021-08-28 13:32:31  阅读:135  来源: 互联网

标签:同步 是否 支持 实时 MySQL 迁移 ES


1.数据迁移同步工具选型

数据迁移同步工具的选择比较多样,下表仅从 MySQL 同步 ES 这个场景下,对一些笔者深度使用研究过的数据同步工具进行对比(不一定精确,如有错误请联系笔者更正),用户可以根据自己的实际需要选取适合自己的产品。

特性\产品

Canal

DTS

CloudCanal

是否支持自建ES

ES对端版本支持丰富度

  • 支持ES6和ES7

  • 支持ES5,ES6和ES7

  • 支持ES6和ES7

嵌套类型支持

join/nested/object

object

nested/object

join支持方式

基于join父子文档&反查

基于宽表预构建&反查

是否支持结构迁移

是否支持全量迁移

是否支持增量迁移

数据过滤能力

  • 仅全量可添加where条件

  • 全增量阶段where条件

  • 全增量阶段where条件

是否支持时区转换

同步限流能力

任务编辑能力

数据源支持丰富度

架构模式

订阅消费模式

  • 需先写入消息队列

直连模式

直连模式

监控指标丰富度

  • 性能指标监控

  • 性能指标监控

  • 性能指标、资源指标监控

报警能力

针对延迟、异常的电话报警

针对延迟、异常的钉钉、短信、邮件报警

任务可视化创建&配置&管理能力

是否开源

是否免费

  • 社区版、SAAS版免费

是否支持独立输出

  • 依赖云平台整体输出

是否支持SAAS化使用

MySQL 到 ES 数据同步构建数据检索服务给中小企业带来了稳定且实用的在线数据方案,在满足业务诉求(高并发业务与企业级应用常态化)的同时 ,易上手且具备不错的可维护性,在适当的场景下,值得尝试和实践。

2.接下来主要讲解

Canal

标签:同步,是否,支持,实时,MySQL,迁移,ES
来源: https://www.cnblogs.com/zxy-come-on/p/15196602.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有