搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景： 日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 cons
[BigDataHadoop：Hadoop&OLAP数据库管理系统.V16] [Deployment.OLAP数据库管理系统][|Kylin：sparkcore高可用配置|]一、高可用配置：spark standalone集群配置### --- 修改 spark-env.sh 文件，并分发到集群中 [root@hadoop01 ~]# vim $SP
[BigDataHadoop：Hadoop&OLAP数据库管理系统.V19] [Deployment.OLAP数据库管理系统][|Kylin：Kylin构建Cube&实时OLAP.V2|]一、OLAP环境准备### --- OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/server
[BigDataHadoop：Hadoop&实时数仓.V02] [BigDataHadoop.电商行业实时数仓项目][|章节四|Hadoop|实时数仓|实时数仓：实时数仓$在Hadoop集群环境运行实时数仓程序.V2|]一、启动集群环境相关服务### --- 启动zooke
[BigDataHadoop：Hadoop&Spark.V06] [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore：Spark-Standalone集群模式&standalone配置&core&mamory|]一、集群模式--Standalone模式### --- 集群模式-
[BigDataHadoop：Hadoop&PB级数仓.V02] [BigDataHadoop.PB级企业电商离线数仓][|章节三|Hadoop|元数据管理工具Atlas：Atlas安装配置&账户密码|]一、安装环境准备### --- 安装概述说明 ~~~ 重点讲解Atlas，不对Atlas的依
Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。 hadoop2
免密登录认证 准备工作 首先克隆出hadoop02 步骤1）先克隆机器 关掉要克隆的机器--->右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成 步骤2）修改IP和主机名以及映射文件，然后重启 [root@hadoop01 ~]# hostnamectl set-hostname hadoop0
安装HBase 分布式数据库 版本选择：HBase2.4.0 start-all.sh启动Hadoop，zkServer.sh start启动各节点的 zkServer 服务 cd /usr/local wget https://archive.apache.org/dist/hbase/2.4.0/hbase-2.4.0-bin.tar.gz tar -zxvf hbase-2.4.0-bin.tar.gz mv hbase-2.4.0 hbase 配置HB
目前掌握的方法： 1、首先在Xshell上连接多台虚拟机 如下图所示：我已经连接了三台虚拟机，分别是hadoop01、hadoop02、hadoop03 2、点击上栏框中的 ： 查看——撰写栏 点击完成后出现下面的样子： 这里要注意的是，如果会话框中的默认文本为：“仅将文本发送到当前选项卡”，则需要将选项
安装包可在官网找，如 http://archive.apache.org 一、 虚拟机安装 前置：安装vmware（可在百度中找得） 1.1安装虚拟机-Linux 1. 点击新建虚拟机，选择自定义 2. 虚拟机兼容性默认即可 3. 客户机操作系统选择稍后安装操作系统 4. 选择客户机操作系统选择Linux，版本我选择了Red Hat
HDFS常用命令 一、 HDFS的源码查看 1.1 HDFS的shell命令 #查看hadoop 命令的脚本 #which查看可执行文件的位置 which hadoop 二、HDFS的常用操作 hadoop fs 与 hdfs dfs 都调的FsShell 类 下面都用hadoop fs 命令来演示 2.1 列出文件列表 ls 2.2 上传文件/目录 put, copyFromLoca
目录 1.准备工作 2.安装工作 2.1、集群规划 2.2、集群配置 1. hadoop-env.sh 2. core-site.xml 3. hdfs-site.xml 4. mapred-site.xml 5. yarn-site.xml 6. slaves 2.3、启动集群（初始化工作） 1. 启动3个Zookeeper 2. 启动3个JournalNode 3. 格式化NameNode 4. 复制hadoop01上的Na
1.hdfs读流程 客户端跟namenode通信查询元数据,namenode通过查询元数据,找到数据快所在的datanode服务器(hadoop01,hadoop02,hadoop03).namenode将datanode服务器信息返回给客户端.客户端就近随机挑选一台datanode服务器请求建立socket流.datanode开始发送数据,以packet为单
假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nodemanager； hadoop02：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager
一、大致步骤： 1.安装git。 2.下载grandle4.6 。因编译下载较慢，编译第一步要下载grandle，最好提前下载grandle，省去编译阶段下载。 3.生成数据库。编译完成后，找出其内的sql语句生成azkaban数据库，不使用自带的内置数据库，使用mysql数据库存放azkaban数据。 4.生成密钥库keystore
虽然安装上了linux双系统，但是双系统的启动关机问题一直没有解决，我想可能是由于电脑配置不够的问题，所以我放弃了linux双系统，选择了使用Ubuntu虚拟机，发现还是虚拟机使用起来更加方便， 首先就是安装Ubuntu的linux虚拟机，然后就是各种配置，根据教程一步步来就好。 其中，如果你
flume扇出流动的过程 实现过程 首先准备三台机器：hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts) 然后每台机器上配置Agent 配置hadoop01 配置hadoop02和hadoop03一样 配置完了后，首先启动hadoop02和hadoop03上的Agent flume-ng a
