ICode9

精准搜索请尝试: 精确搜索
  • Kafka-硬件的选择2020-03-29 12:00:59

    Kafka-硬件的选择 磁盘吞吐量(重要,影响生产者) 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存,大多数客户端在发送消息后会一直等待,直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快,生成消息的延迟就越低。 磁盘容量

  • Kafka极速入门编程2020-03-27 22:55:22

    什么是 Kafka  Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。  Kafka 的基本术语 消息:Kafka 中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行的

  • 01 CentOS7中安装kafka并测试生产者消费者2020-03-26 19:52:59

    kafka是大数据组件中的消息队列,俗语有云:系统卡不卡,全看kafka。kafka的使用能极大的提升的系统吞吐量。本文将阐述在CentOS7中安装kafka。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置 jdk1.8.0_162 已经安装完毕,并配

  • spring boot kafak 配置2020-03-26 16:03:24

    spring boot kafak 自动配置类为 org.springframework.boot.autoconfigure.kafka.KafkaProperties @ConfigurationProperties(prefix = "spring.kafka") public class KafkaProperties { } 1:spring.kafka.bootstrap-servers 配置kafak的broker地址,格式为 host:port,可以配置多

  • Kafka与RabbitMQ对比2020-03-26 15:53:30

    https://mp.weixin.qq.com/s?__biz=MzI3NDAwNDUwNg%3D%3D&mid=2648307598&idx=1&sn=eeaa9d795ef6ba13368e7a76ca14bae7&scene=45#wechat_redirect

  • kafka 在java中的使用2020-03-25 21:56:49

      kafka  Producer  Api Procuder API有两种:kafka.producer.SyncProducer和kafka.producer.async.AsyncProducer.它们都实现了同一个接口: class Producer {   /* 将消息发送到指定分区 */   publicvoid send(kafka.javaapi.producer.ProducerData<K,V> producerData);  

  • 带你逆袭kafka之路2020-03-25 21:03:46

    1. kafka概述 1.1 kafka简介 Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本

  • 由于更改系统时间,flume采集数据到kafka失败2020-03-25 17:58:18

    如题: 在测试flume采集磁盘数据到kafka的数据时,由于博主本人写的程序时根据系统时间生成的日志文件。 在集群启动后,又更改了系统的时间,导致flume采集数据到kafka失败,查找了很久的原因,才知道flume和kafka之间的通信涉及到系统时间的校验,更改系统时间后会导致他们通信失败,从而导致了

  • Kafka broker-list,bootstrap-server以及zookeeper的区别2020-03-25 09:03:48

    broker-list broker指的是kafka的服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。   broker-list指定集群中的一个或者多个服务器,一般我们再使用console producer的时候,这个参数是必备参数,另外一个必备的参数是topic,如下示例:   C:\ka

  • Kafka为什么吞吐量大、速度快?2020-03-24 14:57:48

    Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。       Kafka虽然是基于磁盘做的数据存储,但却具有高性能、高吞吐、低延时的特点,其吞吐量动辄几万、几十上百万。       但是很多使用过Kafka的人,

  • linux kafka 下载 安装 配置2020-03-24 10:03:35

    安装条件: 确保zookeeper已经安装成功。zookeeper安装过程见:上篇,或者https://www.cnblogs.com/expiator/p/9853378.html 1.下载kafka进入Apache官网   http://kafka.apache.org/downloads.html 选择Binary downloads,选择版本进行下载。 也可以直接用以下命令下载: wget http://

  • Kafka2020-03-23 18:04:34

    Kafka 是一个分布式流式处理平台。 三个关键功能: 消息队列:发布和订阅消息流,这个功能类似于消息队列,这也是 Kafka 也被归类为消息队列的原因。 容错的持久方式存储记录消息流: Kafka 会把消息持久化到磁盘,有效避免了消息丢失的风险·。 流式处理平台: 在消息发布的时候进行处理,Kafk

  • Kafka SASL认证2020-03-22 22:55:58

    1 配置kafka server端(每个broker) root@CN-GRI-IDDC-AIRCONDITING:/opt/kafka/kafka1/kafka_2.12-0.10.2.1/config# vi server.properties listeners=SASL_PLAINTEXT://172.17.102.126:9092 port=9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inte

  • kafka 学习2020-03-22 17:02:03

      https://kafka.apache.org/quickstart C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\bin\windows\zookeeper-server-start.bat C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\config\zookeeper.properties C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\

  • kafka-Message、日志和索引文件、消费组、rebalance2020-03-21 23:51:21

    记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容,文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message,在V1版本中是如下部分组成,主要关系key和value。 (1)key:当需要将消息写入到某个topic下的指定partition分区时,需要

  • 关于kafka监控工具2020-03-21 15:56:18

    概述 Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点。 较之传统的消息中间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性,非常适

  • 大数据安装之Kafka(用于实时处理的消息队列)2020-03-20 22:02:39

    一、安装部署kafka 1、集群规划 hadoop102                                 hadoop103                          hadoop104 zk                                               zk       

  • kafka单机安装测试-原创-本机测试过2020-03-19 14:02:12

    安装环境:vmware 安装的centos6.8   安装IP地址:192.168.52.136 kafka和zookeeper版本:kafka_2.13-2.4.0.tgz  和zookeeper-3.4.5.tar.gz   centos安装目录:     zookeeper 配置和启动就不说了    启动kafka /usr/local/kafka/bin/kafka-server-start.sh /usr/local/k

  • 解决关闭kafka后,jps仍然会显示kafka的问题及kill -9和kill -15的区别2020-03-18 22:53:40

      说实话,这个问题很简单,想必各位安装了kafka的话,肯定是已经安装过hadoop的,那么在hadoop的关闭中,其实也是会有这个问题的出现的。可以参考我转载的一篇关于hadoop关闭问题。    https://www.cnblogs.com/ro0k1e/p/12452466.html   之所以关不掉,大概率是因为你执行了挂起的

  • Kafka消费者2020-03-18 16:04:22

    消费者和消费者群组 生产者往主题写入消息的速度超过了应用程序验证数据的速度。如果使用单个消费者处理消息,应用程序跟不上消息生成的速度。此时,有必要对消费者进行横向伸缩,我们可以使用多个消费者从同一个主题读取消息,对消息进行分流。 一个群组里的消费者订阅同一个主题,每个消

  • 消息队列mq总结2020-03-18 14:00:53

    一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场

  • 基于Canal和Kafka实现MySQL的Binlog近实时同步2020-03-17 15:00:43

    前提近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统

  • Java 最常见的 208 道面试题(152-163)-------kafka/zookeeper2020-03-17 13:05:01

    152.kafka 可以脱离 zookeeper 单独使用吗?为什么? kafka不能脱离zookeeper单独使用,因为kafka使用zookeeper管理和协调kafka的节点服务器 153.kafka 有几种数据保留的策略? kafka有两种数据保存策略:按照过期时间保留和按照存储的消息大小保留 154.kafka 同时设置了 7 天和 10G 清

  • Druid 0.17 入门(3)—— 数据接入指南2020-03-17 09:00:57

    在快速开始中,我们演示了接入本地示例数据方式,但Druid其实支持非常丰富的数据接入方式。比如批处理数据的接入和实时流数据的接入。本文我们将介绍这几种数据接入方式。 文件数据接入:从文件中加载批处理数据 从Kafka中接入流数据:从Kafka中加载流数据 Hadoop数据接入:从Hadoop中加

  • 你知道大数据语言的工具与框架吗?2020-03-16 22:44:04

    为了解大数据的当前和未来状态,我们采访了来自28个组织的31位IT技术主管。我们问他们,“你在数据提取,分析和报告中使用的最流行的语言,工具和框架是什么?” 以下的文章是他们告诉我们的记录,经过总结如下。 Python,Spark,Kafka 随着大数据和对人工智能AL/机器学习 ML 的推动,Scala和Pyt

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有