搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景： 日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 cons
[BigDataHadoop：Hadoop&OLAP数据库管理系统.V17] [Deployment.OLAP数据库管理系统][|Kylin：Kylin安装配置|]一、Kylin安装环境准备：依赖环境软件版本Hive2.3.7Hadoop2.9.2HBase1.3.1Zookeeper3.4.14Kafka1.0.2Spark2.4.5二、集群规划se
[BigDataHadoop：Hadoop&OLAP数据库管理系统.V16] [Deployment.OLAP数据库管理系统][|Kylin：sparkcore高可用配置|]一、高可用配置：spark standalone集群配置### --- 修改 spark-env.sh 文件，并分发到集群中 [root@hadoop01 ~]# vim $SP
[BigDataHadoop：Hadoop&OLAP数据库管理系统.V07] [Deployment.OLAP数据库管理系统][|ClickHouse：ClickHouse链接kafka|]一、ClickHouse链接Kafka### --- ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性：
[BigDataHadoop：Hadoop&Spark.V05] [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore：spark伪分布式模式|]一、伪分布式### --- 伪分布式 ~~~ # 伪分布式模式：在一台机器中模拟集群运行，相
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容 公众号 官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html 2、创建Hadoop系统用户 为Hadoop开启Kerberos，需为不同服务准备不同
免密登录认证 准备工作 首先克隆出hadoop02 步骤1）先克隆机器 关掉要克隆的机器--->右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成 步骤2）修改IP和主机名以及映射文件，然后重启 [root@hadoop01 ~]# hostnamectl set-hostname hadoop0
| 组件 | 说明 | | — | :-- | | HDFS | 分布式文件系统 | | MAPREDUCE | 分布式运算程序开发框架 | | HIVE | 基于大数据技术（文件系统+运算框架）的SQL数据仓库工具 | | HBASE | 基于HADOOP的分布式海量数据库 | | ZOOKEEPER | 分布式协调服务基础组件 | 【一线大厂Java面试题
#!/bin/bash function check(){ echo "$1" return 100 } r=$(check $1) echo "$r" d=$(check) echo "$?" 主要有两种办法接收返回值：return echo 这里要注意$?返回上一条语句执行的结果，正常的命令来说是 0 或者其他 这里用$?就获得了上一条命令 return 返回值 以上测
常用命令： hdfs帮助：-help [cmd] 显示命令的帮助信息 [user@hadoop01 ~]$ hdfs dfs -help ls 1. hadoop fs （hdfs dfs） 文件操作 1）ls - 查看hdfs中的目录信息 [user@hadoop01 ~]$ hdfs dfs -ls -h /hdfs路径 显示目录下的所有文件可以加 -R 选项 [user@hadoop01 ~]$ hdf
BASH_SOURCE表示的是用户所在的目录到脚本的路径。例如测试脚本如下： #!/bin/bash echo ${BASH_SOURCE} 1 2 3 执行脚本结果如下： [root@hadoop01 sbin]# ./test ./test [root@hadoop01 sbin]# cd .. [root@hadoop01 hadoop-2.7.7]# sbin/test sbin/test ——————————
[root@hadoop01 software]# cat myhadoop.sh #!/bin/bash #检查脚本参数个数 if [ $# -lt 1 ] then echo "No Args Input... please input [start|stop]" fi case $1 in "start") echo " ============================= 启动 hadoop 集群 =======
在网上查了很多资料，每一个真正解决问题的，但多少算贴点边吧，也有可能不是每个人都像我一样粗心大意 我们都知道hadoop需要配置代理用户，在配置文件core-site.xml里，这个文件配置完一定要分发到集群，不然就会出现root not allow to impersonate root 这种魔幻的错误 一开始我还很蒙，ro
目录 1.伪分布式模式介绍 2. 平台软件说明 3. 伪分布式搭建环境准备 3.1. 总纲 3.2. 防⽕墙关闭确认 3.3. 配置/etc/hosts⽂件 3.4. 确保ssh对localhost的免密登陆认证有效 3.5. 安装Jdk
jobhistory的配置 1、在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.xml中添加 <!-- 设置jobhistoryserver 没有配置的话 history入口不可用 -->
目录 一、CDH介绍 二、为什么选择CDH？ 三、CDH的版本选择 四、安装准备 1.节点准备 2.节点规划 3.下载parcels文件 4.tarball下载 5.准备以下内容： 五、系统初始化 1.关闭防火墙（3个节点） 2.配置主机名（3个节点） 3.修改hosts文件（3个节点） 4.配置免密登录（3个节点） 5.安装JDK（3个节点） 6
Hadoop第一天 1. 数据的分布式存储 2. 什么是HDFS? 海量数据是存储在集群上的(利用多台机器作为存储资源) 多台机器组成一个有组织的群体(主节点,从节点) 从节点启动后,向主节点汇报自已的资源 主节点接收到从节点的注册后,维护集群(列表有几个节点,每个节点的存储容量信息)
目前掌握的方法： 1、首先在Xshell上连接多台虚拟机 如下图所示：我已经连接了三台虚拟机，分别是hadoop01、hadoop02、hadoop03 2、点击上栏框中的 ： 查看——撰写栏 点击完成后出现下面的样子： 这里要注意的是，如果会话框中的默认文本为：“仅将文本发送到当前选项卡”，则需要将选项
Kafka分布式集群部署 1．集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Kafka。我安装的版本是kafka_2.11-2.1.0.tgz，下载地址：http://archive.apache.org/dist/kafka 2．解压安装 （1）解压Kafka安装包到/opt/modules/目录下 # 解压 [jiang@hadoop01 software]$ tar -zxvf ka
Hive安装及配置Mysql元数据库 一、Hive安装配置 1、前置准备 安装Hive前要先把Hadoop（伪分布式或集群模式）安装好，因为Hive是依赖于Hadoop运行的 2.安装Hive 下载所需版本的 Hive ， 这里我下载版本为 apache-hive-2.3.0-bin.tar.gz。下载地址: http://archive.apache.org/dist/hi
1.1 准备安装包 下载安装包并上传到hadoop01服务器 安装包下载地址： https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz 将安装包上传到node01服务器/bigdata/softwares路径下，并进行解压 [hadoop@hadoop01 ~]$ cd /bigdata/soft/ [hadoop@hadoop0
Hadoop与linux的交互 hadoop是安装在linux上的集群，所以二者之间需要交互。Linux命令是操作Linux的文件系统的，而hadoop有自己的文件系统hdfs，所以我们不能直接用Linux命令来操作Hadoop上的文件。此时就需要交互语言 hadoop上的命令基本同Linux，只是需要在前面加hadoop hadoop的
HDFS文件上传流程 客户端向NameNode发送数据上传请求，这个请求当中包含一个重要的信息就是文件的长度信息。假设该文件的大小为207M. hadoop fs -put /test.txt /data NameNode接收到客户端的请求之后会做一系列的检查 文件是否存在，如果存在，报错 上传文件的父目录是否存在，如
目录 1.准备工作 2.安装工作 2.1、集群规划 2.2、集群配置 1. hadoop-env.sh 2. core-site.xml 3. hdfs-site.xml 4. mapred-site.xml 5. yarn-site.xml 6. slaves 2.3、启动集群（初始化工作） 1. 启动3个Zookeeper 2. 启动3个JournalNode 3. 格式化NameNode 4. 复制hadoop01上的Na
1.hdfs读流程 客户端跟namenode通信查询元数据,namenode通过查询元数据,找到数据快所在的datanode服务器(hadoop01,hadoop02,hadoop03).namenode将datanode服务器信息返回给客户端.客户端就近随机挑选一台datanode服务器请求建立socket流.datanode开始发送数据,以packet为单
