标签：同步 CloudCanal 数据源 索引 ElasticSearch MySQL 迁移 ES
简述
本文介绍如何通过 CloudCanal，五分钟内创建一条长期稳定运行的 MySQL -> ElasticSearch (以下简称 ES) 实时数据迁移同步链路 。
技术内幕
限流
MySQL 到 ES 数据迁移同步过程中，往往会面临源端写入对端 RPS 较大问题，导致 ES 负载较大，影响业务对 ES 的正常读写。CloudCanal 为了应对这个情况，提供限流能力。同步任务创建完毕后，可在 任务详情 -> 参数设置 对源端流量进行限流。
时区处理
CloudCanal 允许用户在创建数据迁移同步任务时指定时区。写入ES 时，源端时间类型数据将会格式化并带上时区信息 , 支持用户在跨国、跨地域场景下使用。
自动创建索引和 Mapping 结构
CloudCanal 迁移同步任务支持自动将源端数据库表结构映射成 ES 索引，该过程中允许用户在 列(column/field) 级别上，个性化设置自己需要的索引和 Mapping 结构。这些设置包括：
- 每个列可以指定是否需要索引
- 可以对 text 类型的 field 设置 ES mapping 中的分词器(标准分词器)
- 索引分片数、副本数自定义设置
映射已建索引
用户可能已经在 ES 中提前建好了索引，这种情况下 CloudCanal 会自动探测，并允许用户配置映射，一张表可映射对端一个索引。
内置 _id 生成和 routing field 指定
写入 ES 时候 _id 用于唯一标识一个 doc。CloudCanal 数据同步默认遵循以下原则：
- routing 使用 _id 值
- 单主键表，会默认使用源端关系表的主键列的列值作为 _id 的值
- 多主键表，会通过分隔符$连接多个主键列的值，组成唯一的 _id 值
- 无主键表，会将所有列的值通过$连接，生成唯一的 _id 值
举个"栗子"
准备 CloudCanal
- 如没有安装 CloudCanal，请参考《CloudCanal安装教程》安装。下面例子介绍如何创建一个 MySQL->ElasticSearch 的迁移同步任务。
添加数据源
- CloudCanal 支持 6.8 及以上版本 ES，我们点击 数据源管理->新增数据源 添加 ES 数据源
- 填写必要 host 信息后点击 新增数据源
创建任务
- 点击任务管理，选择创建任务
数据源设置
- 勾选源端和目标端数据库，并且选择相应的数据库
功能配置
- 选择数据同步，并勾选数据初始化(带全量迁移)
表&ACTION过滤
-
此处可以进行的操作主要是：
- 勾选需要订阅的表
- 选择需要映射的索引（支持映射已经存在的索引）
- 勾选 IUD 过滤
- 批量设置分片数
tips: CloudCanal的结构迁移支持自动帮用户按照源端表结构创建索引
数据处理
-
本页面提供的主要能力有：
- 列裁剪设置(包括批量筛选和设置)
- 设置源端where过滤条件
- 索引设置
- 分词器设置
- 列映射（如果同步的是已经存在的索引，支持列映射）
创建确认
- 最后一步，确认创建内容无误后点击确认创建。
查看任务状态
- 回到 CloudCanal 控制台，刷新并查看任务实时状态，从结构迁移、数据初始化，到数据同步。
- 登录 ES Kibana 控制台，查看迁移同步过去的结构和数据。
总结
本文简单介绍了如何使用 CloudCanal 快速构建 MySQL->ElasticSearch 数据迁移同步链路，更多的源端和目标端陆续开放。各位小伙伴，如果觉得还不错，请点赞、评论加转发吧。
更多精彩
- 5分钟搞定-mysql-到-mysql-异构-在线数据迁移同步
- mysql-到-elasticsearch-实时同步构建数据检索服务的选型与思考
- 构建基于kafka中转的混合云在线数据生态-cloudcanal实战
- mysql到clickhouse实时同步-cloudcanal实战
社区快讯
- 我们创建 CloudCanal 微信粉丝群啦，在里面，你可以得到最新版本发布信息和资源链接，你能看到其他用户一手评测、使用情况，你更能得到热情的问题解答，当然你还可以给我们提需求和问题。快快加入吧。
- 扫描下方二维码，添加我们小助手微信suhuayue001拉您进群，接头语(“CloudCanal yyds”)
加入CloudCanal粉丝群掌握一手消息和获取更多福利，请添加我们小助手微信：suhuayue001
- 扫描下方二维码，添加我们小助手微信suhuayue001拉您进群，接头语(“CloudCanal yyds”)
CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。
了解更多产品可以查看官方网站： http://www.clougence.com
CloudCanal社区：https://www.askcug.com/
标签：同步,CloudCanal,数据源,索引,ElasticSearch,MySQL,迁移,ES 来源： https://www.cnblogs.com/clougence/p/15165735.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。