ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

SIX Spark Streaming 编程初级实践

2020-02-06 18:55:16  阅读:401  来源: 互联网

标签:flume JAVA SIX Streaming export usr HOME Spark local


Flume 官网下载 Flume1.7.0 安装文件,下载地址如下: http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后,把 Flume1.7.0 安装到 Linux 系统的“/usr/local/flume”目录下, ⑴解压安装包 1.cd ~/下载 2.sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local # 将 apache-flume-1.7.0-bin.tar.gz 解压到/usr/local 目录下,这里一定要 加上-C 否则会出现归档找不到的错误 3.cd /usr/local 4.sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名 字为 flume,简化操作 5.sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume 目录 的权限赋予当前登录 Linux 系统的用户,这里假设是 hadoop 用户 ⑵配置环境变量 1.sudo vim ~/.bashrc 然后在首行加入如下代码: 1.export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 2.export FLUME_HOME=/usr/local/flume 3.export FLUME_CONF_DIR=$FLUME_HOME/conf 4.export PATH=$PATH:$FLUME_HOME/bin 注意,上面的 JAVA_HOME,如果以前已经在.bashrc 文件中设置过,就不要重复添加 了,使用以前的设置即可。比如,以前设置得 JAVA_HOME 可能是“export JAVA_HOME=/usr/lib/jvm/default-java”,则使用原来的设置即可。接下来使环境变量生效: 1.source ~/.bashrc 修改 flume-env.sh 配置文件: 1.cd /usr/local/flume/conf 2.sudo cp ./flume-env.sh.template ./flume-env.sh 3.sudo vim ./flume-env.sh 打开 flume-env.sh 文件以后,在文件的最开始位置增加一行内容,用于设置 JAVA_HOME 变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64;

  

注意,你的JAVA_HOME可能与上面的设置不一致,一定要根据你之前已经安装的Java 路径来设置,比如,有的机器可能是:
export JAVA_HOME=/usr/lib/jvm/default-java

  

然后,保存 flume-env.sh 文件,并退出 vim 编辑器。 ⑶查看 flume 版本信息 1.cd /usr/local/flume 2. ./bin/flume-ng version #查看 flume 版本信息; 安装成功   注意:如果系统里安装了 hbase,会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装 hbase,这一步可以略过。 1.cd /usr/local/hbase/conf 2.sudo vim hbase-env.sh 1.#1、将 hbase 的 hbase.env.sh 的这一行配置注释掉,即在 export 前加一个# 2.#export HBASE_CLASSPATH=/home/hadoop/hbase/conf 3.#2、或者将 HBASE_CLASSPATH 改为 JAVA_CLASSPATH,配置如下 4.export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/t ools.jar  

标签:flume,JAVA,SIX,Streaming,export,usr,HOME,Spark,local
来源: https://www.cnblogs.com/NCLONG/p/12269826.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有