实验项目三：java api访问hdfs

2020-03-09 10:03:28 阅读：782 来源： 互联网

标签：hdfs fs java 文件 hadoop api FileSystem Path Configuration

实验内容与步骤

1. 从linux拷贝整个hadoop压缩jar包

使用ForkLift将hadoop文件全部拷出来。
在这里插入图片描述
将需要用到的jar包放在一起。（需要的是share/hadoop/common下的三个包，share/hadoop/common/lib文件下全部的包，以及share/hadoop/hdfs下的三个包，以及share/hadoop/hdfs/lib中的包）

2. 从linux拷出配置文件可以访问hdfs

将core-site.xml和hdfs-site.xml``log4j.properties文件拷出来：
在这里插入图片描述
core-site.xml文件需要更改一下：
将黄线的部分改成自己的IP，然后再加上后面的配置就可以。

3. 使用java开发工具编写java代码

简单的配置idea：
将第二步导出的文件放到src内，第一步导出的hadoop文件夹直接add as library
在这里插入图片描述
简单测试一下：

可以看到，在hadoop上成功创建了文件夹。

4. 使用Configuration 类，Path，FileSystem对象完成上传代码

在这里插入图片描述

5. 上传文件测试50070测试

成功上传文件。
在这里插入图片描述

6. 使用Configuration 类，Path，FileSystem对象完成下载代码

在这里插入图片描述

7. 查看下载文件是否存在

可以看到文件也成功下载了。
在这里插入图片描述
以下为本次的实验代码：

package com.itshixun.hdfs;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
class DownLoad {

    public static void main(String[] args) {
        uploadFile();
        downloadFile();
    }
    public static void uploadFile() {
        Configuration conf = new Configuration();
        try {
            FileSystem fs = FileSystem.get(conf);
            //定义文件的路径和上传的路径
            Path src = new Path("/Users/sunyumeng/readme.txt");
            Path dest = new Path("/ss/README.txt");
            //从本地上传文件到服务器
            fs.copyFromLocalFile(src, dest);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    public static void downloadFile() {
        Configuration conf = new Configuration();
        try {
            FileSystem fs = FileSystem.get(conf);
            //定义下载文件的路径和本地下载路径
            Path src = new Path("/ss/README.txt");
            Path dest = new Path("/Users/sunyumeng/READMEtest.txt");
            //从服务器下载文件到本地
            fs.copyToLocalFile(src, dest);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }



}

标签：hdfs,fs,java,文件,hadoop,api,FileSystem,Path,Configuration
来源： https://blog.csdn.net/weixin_43491622/article/details/104739559

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9