寒假学习进度-9（spark streaming编程初级实践）

2020-02-06 13:06:58 阅读：422 来源： 互联网

标签：flume bin sudo streaming 寒假 export usr HOME spark

1.安装Flume

下载地址：

http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

（1）解压安装包

sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local 
cd /usr/local 
sudo mv ./apache-flume-1.7.0-bin ./flume 
sudo chown -R hadoop:hadoop ./flume

（2）配置环境变量

sudo vim ~/.bashrc 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 
export FLUME_HOME=/usr/local/flume 
export FLUME_CONF_DIR=$FLUME_HOME/conf 
export PATH=$PATH:$FLUME_HOME/bin

修改 flume-env.sh 配置文件：

cd /usr/local/flume/conf 
sudo cp ./flume-env.sh.template ./flume-env.sh 
sudo vim ./flume-env.sh 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

（3）查看flume版本信息

cd /usr/local/flume 
./bin/flume-ng version

2.使用 Avro 数据源测试 Flume

3.使用 netcat 数据源测试 Flume

4.使用 Flume 作为 Spark Streaming 数据源

------------------------------------------- 
Time: 1488029430000 ms 
------------------------------------------- 
Received 0 flume events. #这里省略了其他屏幕信息 
------------------------------------------- 
Time: 1488029432000 ms 
------------------------------------------- 
Received 8 flume events. #这里省略了其他屏幕信息 
------------------------------------------- 
Time: 1488029434000 ms 
------------------------------------------- 
Received 21 flume events.

标签：flume,bin,sudo,streaming,寒假,export,usr,HOME,spark
来源： https://www.cnblogs.com/liujinxin123/p/12268296.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

寒假学习进度-9（spark streaming编程初级实践）