标签：spring-boot spring-batch hdfs spring

我必须编写一个Spring批处理,它将从HDFS读取文件并更新MySQL DB中的数据.

HDFS中的源文件包含一些CSV格式的报告数据.

有人可以指出我一个从HDFS读取文件的示例吗？

谢谢.

解决方法:

Spring Batch中的FlatFileItemReader可与任何Spring Framework Resource实现一起使用：

@Bean
public FlatFileItemReader<String> itemReader() {
    Resource resource; // get (or autowire) resource
    return new FlatFileItemReaderBuilder<String>()
            .resource(resource)
            // set other reader properties
            .build();
}

因此,如果您设法使Resource句柄指向HDFS文件,那么就完成了.

现在,为了拥有HDFS资源,您可以：

>使用Spring for Hadoop.一旦配置了HDFS文件系统,就可以使用applicationContext.getResource(“ hdfs：data.csv”)从应用程序上下文中获取资源.
>使用Hadoop API实现自己的资源(如Michael Simons的答案所示).我看到有些人已经做了这个here

希望这可以帮助.

标签：spring-boot,spring-batch,hdfs,spring
来源： https://codeday.me/bug/20191108/2008364.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。