ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Nifi 快速安装及文件同步操作

2021-05-06 16:00:08  阅读:274  来源: 互联网

标签:Nifi nifi http web 1.8 同步操作 文件 安装 处理器


Nifi简单来说是一个数据拉取、数据处理以及数据分发的系统。
Nifi运行需要JVM,需要Java 8版本。
下载地址:nifi.apache.org/download 本文安装nifi-1.8.0-bin.tar.gz
使用手册:http://nifi.apache.org/docs.html

安装

1.下载安装包

wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz

2.解压安装包

tar -zxf nifi-1.8.0-bin.tar.gz

3.修改nifi/conf目录下nifi.properties文件
nifi.web.http.host=主机号
nifi.web.http.port=服务端口号[自定义]

# web properties #
nifi.web.war.directory=./lib
nifi.web.http.host=192.168.197.106
nifi.web.http.port=8182
nifi.web.http.network.interface.default=
nifi.web.https.host=
nifi.web.https.port=
nifi.web.https.network.interface.default=
nifi.web.jetty.working.directory=./work/jetty
nifi.web.jetty.threads=200
nifi.web.max.header.size=16 KB
nifi.web.proxy.context.path=
nifi.web.proxy.host=

4.服务启动
进入nifi/bin 目录

./nifi.sh start

出现如下提示即服务启动成功,可以打开web查看,http:192.168.197.106:8182,如图所示。


Java home: /opt/soft/jdk180
NiFi home: /opt/soft/nifi-1.8.0

Bootstrap Config File: /opt/soft/nifi-1.8.0/conf/bootstrap.conf

在这里插入图片描述

使用

文件同步

实现:将/opt/act.log 文件内容同步到/opt/data空目录下,且保留源文件。
需要处理器 GetFile (读取并删除文件) + PutFile(保存文件)

在工具栏中拖拽一个Processor进入画布,输入’local’,选择’GetFile’处理器,点击ADD添加到画布中,同样的操作创建一个’PutFile’处理器。
在这里插入图片描述

配置GetFile处理器

1.选中处理器,右击选择“configure”,“settings”中勾选“success”,自动终止关系。
在这里插入图片描述
2.“properties”属性配置。

  • Input Directory:输入源目录
  • File Filter:文件过滤器
  • Keep Source File:是否保留源文件,默认false
  • Recurse Subdirectories:是否拉取子目录中的文件,默认true

配置完毕后,点击‘apply’保存应用。
在这里插入图片描述

配置PutFile处理器

1.选中处理器,右击选择“configure”,在“settings”中勾选“failure”和“success”。
在这里插入图片描述

2.“properties”属性配置

  • Directory:目标目录
  • Conflict Resolution Strategy:指定存在同名文件后的操作。可选值:replace替换已有文件,fail执行失败,不生成文件,ignore忽视。
  • Create Missing Directories:指定不存在目标目录是否创建目录。可选值:true新建,false不新建。
    配置完毕后,点击‘apply’保存应用。
    在这里插入图片描述

连接处理器

1.鼠标移动到’GetFile’上,出现如下箭头,点击拖拽到’PutFile’上。
在这里插入图片描述
2.配置“Settings”,设定name:demo1,增加优先级,‘FirstInFirstOutPrioritizer’。点击’add’,创建连接。
在这里插入图片描述
3.右击画布选择’Start‘,可见数据流通。GetFile 读取文件输出7.36KB,PutFile写入文件到目标目录中,7.36KB,同时在目标目录中可见act.log文件。
在这里插入图片描述

标签:Nifi,nifi,http,web,1.8,同步操作,文件,安装,处理器
来源: https://blog.csdn.net/AlierSnow/article/details/116454058

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有