标签：hdfs sqoop hive 导入 mysql null

1、可有可无的配置

2、sqoop导入需要指定一个字段为分割字段，select max(id),min(id) from test  然后根据指定的并行度（默认是4）进行分割，如果这个字段不是数字类型需要加上一句话

3、mysql中null值的处理，如果mysql中是null，在导入到hdfs的时候，sqoop会把null值字段，变成null字符串导入，

这样会有问题，比如我把这些数据再导入到hive，那么hive就会把null字符串，真的导成null字符了，原来mysql的null值列，在hive中 is null 查询就查不到了

解决方式：文件都是字符串，那么hive会把什么识别为null呢？ --------------> '\N' 因此导入hdfs的时候，需要指定一下null值转换策略

--null-string '\\N'    // 记得转译一下\

--null-non-string '\\N'   加上这两个

标准语法

标签：hdfs,sqoop,hive,导入,mysql,null
来源： https://blog.csdn.net/java_creatMylief/article/details/114196698

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。