标签：flume HDFS 收集 4.4 离线 netcat 日志 rpm

1 安装flume

 tar -xvf apache-flume-1.6.0-bin.tar.gz  解压

2   flume 架构

flume:收集传输发送数据，没有存储数据的能力；

source (facebook  本地目录  日志系统   netcat  http 上一个flume)>   channel (memory内存通道  file文件通道  ) >  Sink目的地（hdfs  kafka  avro  本地目录）

 

 

3  flume输出

2.1 flume接离线

传输给  分布式HDFS文件系统，以行存储    》再用MapReduce离线批处理 ，需要用java写代码   或者   使用  Hive 类sql  Hql来离线批处理   》  计算结果再存到  HDFS  > 通过Sqoop（ETL）工具把结果数据导入到关系型数据库，供页面用

 

2.2 flume接实时

flume:Storm或者  Spark Streaming 实时计算框架 》 计算结果数据存到HDFS或者HBase或者mysql

 

4 使用工具模拟网络数据输入给flume

4.1  安装 netcat工具，用于发送网络请求给flume

 

rpm  -ivh  nc-11.84-22.el6.x86_64.rpm  

4.2 修改flume如下配置

 

 

 地址：本地   

输出：控制台   

使用内存通道

4.3 启动netcat

 

 

 ctrl+c  退出netcat

4.4 复制连接在另一个连接上给flume发请求数据

4.4.1 发送方式1

 

4.4.2 发送方式2

 

标签：flume,HDFS,收集,4.4,离线,netcat,日志,rpm
来源： https://www.cnblogs.com/hujinhua/p/15724462.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。