标签：Task 数据源 Sqoop Job 同步 DataX 数据
在日常大数据生产环境中，经常会有集群数据集和关系型数据库互相转换的需求，在需求选择的初期解决问题的方法————数据同步工具就应运而生了。此次我们选择两款生产环境常用的数据同步工具进行讨论
Sqoop
通常数据开发岗位的朋友都会较早的接触这款工具，因为Sqoop的设计初衷就是在Hadoop和DB(关系型数据库)、大型机(Oracle服务机)之间搭建桥梁，斩断数据同步的隔阂。该项目起步于2009年，最早是Hadoop的一个三方模块的存在，后来社区开发者为了能够快速部署和使用,同时也为了开发人员能够更快速的迭代开发，最终成为Apache基金会的顶级项目。
核心机制
Sqoop是基于MR的分布式数据同步工具，使用MR完成数据的导入和导出，依赖计算框架的能力，可以实现并行操作以及容错能力
-
导入
在读取数据库文件时，sqoop底层逐行读取，导入过程的输出是一组文件，其中包含导入的表或数据集副本，因为
底层使用的是MR并行处理，所以这一过程会产生多个文件(序列化二进制文件或逗号分割的文本文件)。导入的过程
由JAVA类控制，此类可将数据与序列化文件进行序列化和反序列化。同时开放的接口可以使用其他工具解析分隔记录
数据。 -
导出
当MR或Hive生成的查询处理结果生成结果集时，可以使用其导入关系型数据库。Sqoop将HDFS文件并行读取一组文本文件，将它们解析记录，并将它们插入到数据库表中作为新行，供外部程序或用户进行查询。
特点
- 分布式可水平扩展
- 运行模式基于MR
- 依赖hadoop生态圈，某些业务场景下限制多
- 负载默认均匀分布，若不人为修改，某些状况下会导致负载倾斜
- 对压缩文件支持不友好
- 启动速度相对较慢
DataX
DataX是阿里开源的一个异构数据源离线同步工具，用于在关系型数据库、HDFS、Hive、ODPS(阿里云组件)、HBase、DRDS、ADS、TableStore(OTS)、FTP等各种异构数据源之间做稳定高效的数据同步。从官方给出的定义不难看出这一数据同步框架面向更多数据场景，目前离线同步数据源已支持DB2、Kafka等工具。
由上图可知，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
框架设计
DataX在设计之初就将同步理念抽象成框架+插件的形式.框架负责内部的序列化传输，缓冲，并发，转换等而核心技术问题，数据的采集(Reader)和落地(Writer)完全交给插件执行
DataX Framework提供了简单的接口与插件交互，提供简单的插件接入机制，只需要任意加上一种插件，就能无缝对接其他数据源。经过不停的迭代，当前DataX已经有了比较全面的插件体系，包括主流的RDBMS，NOSQL以及大数据计算系统
核心模块介绍：
1.DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
2.DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
3.切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
4.每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
5.DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非
特点
- 单线程多进程，不支持分布式
- 数据转换功能丰富，可在传输过程中脱敏、过滤
- 传输速度可控，具备信息统计功能
- 可以进行数据校验
总结
对比两者的特点，不难发现Sqoop依赖于Hadoop生态对HDFS、Hive支持友善，在处理数仓大表的速度相对较快，但不具备统计和校验能力。而DataX无法分布式部署，可以在传输过程中进行过滤，并且可以统计传输数据的信息，因此在业务场景复杂(表结构变更)更适用，同时对于不同的数据源支持更好。且DataX的开源版本目前只支持单机部署，需要依赖调度系统实现多客户端，同时不支持自动创建表和分区。
标签：Task,数据源,Sqoop,Job,同步,DataX,数据 来源： https://www.cnblogs.com/MachCraft/p/13991645.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。