datax(https://github.com/alibaba/DataX)是一个离线的数据同步工具,提供了异构数据源之间的同步。
datax整体项目结构清晰,core提供了核心功能,剩下的都是各种数据源的reader和write。
核心功能就是根据配置信息,抽取源数据,导入到目标数据,中间还有各种的流量控制。
datax作为一个离线数据同步平台,使用还是比较广泛的,其中大数据就是一个比较典型的场景,大数据ETL平台需要从各个数据源抽取数据,除了sqoop, datax也是一个不错的选择。
datax是一个离线批量的数据同步工具,与之对应的还有canal这种通过解析binlog的实时数据同步工具
我的注解版:
https://github.com/zhaoyb/DataX
标签:同步,数据源,离线,datax,工具,数据 来源: https://www.cnblogs.com/beyondbit/p/13941915.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。