ICode9

精准搜索请尝试: 精确搜索
  • 在Windows系统上安装消息队列kafka2022-07-04 16:00:57

    转自:https://baijiahao.baidu.com/s?id=1730410485323023789&wfr=spider&for=pc   简介 Kafka 是一个由 LinkedIn 开发的分布式消息系统,它于2011年年初开源,现在由著名的 Apache 基金会维护与开发。 Kafka 使用 Scala 实现,被用作 LinkedIn 的活动流和运营数据处理的管道,现在也被诸

  • go-zero微服务实战系列(九、极致优化秒杀性能)2022-07-04 08:31:53

    上一篇文章中引入了消息队列对秒杀流量做削峰的处理,我们使用的是Kafka,看起来似乎工作的不错,但其实还是有很多隐患存在,如果这些隐患不优化处理掉,那么秒杀抢购活动开始后可能会出现消息堆积、消费延迟、数据不一致、甚至服务崩溃等问题,那么后果可想而知。本篇文章我们就一起来把这些

  • 【Kafka】Kafka定义2022-07-02 20:02:04

    Kafka简介 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是:日志收集

  • Kafka入门实战教程(3).NET Core操作Kafka2022-07-02 10:03:03

    1 可用的Kafka .NET客户端 作为一个.NET Developer,自然想要在.NET项目中集成Kafka实现发布订阅功能。那么,目前可用的Kafka客户端有哪些呢? 目前.NET圈子主流使用的是 Confluent.Kafka confluent-kafka-dotnet : https://github.com/confluentinc/confluent-kafka-dotnet 其他主

  • kafka学习笔记2022-07-01 16:02:35

    前言 kafka官网:https://kafka.apache.org/ Kafka是最初由Linkedin公司开发,是一个分布式的、支持分区的(Partition)、多副本的(Replica),基于zookeeper协调的分布式消息系统。它最大的特性就是可以实时处理大量数据以满足各种场景,比如:基于Hadoop的批处理系统、低延迟的实时系统、Storm/S

  • Kafka解析-1快速入门2022-06-30 22:01:25

    前言 官网 Kafka 中文文档 - ApacheCN Apache Kafka Kafka传统定义:一个分布式基于发布/订阅模式的消息队列(MQ),主要应用于大数据实时处理领域。 Kafka最新定义:一个开源的分布式事件流平台(ESP),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。   消息队列的应用场

  • go-zero微服务实战系列(八、如何处理每秒上万次的下单请求)2022-06-30 10:08:06

    在前几篇的文章中,我们花了很大的篇幅介绍如何利用缓存优化系统的读性能,究其原因在于我们的产品大多是一个读多写少的场景,尤其是在产品的初期,可能多数的用户只是过来查看商品,真正下单的用户非常少。但随着业务的发展,我们就会遇到一些高并发写请求的场景,秒杀抢购就是最典型的高并发

  • Kafka入门实战教程(1)基础概念与术语2022-06-29 19:34:25

    0 为何学习Kafka 在之前的项目中也用到过Kafka,但都是别人搭好了我只负责用,也没去深究,也没系统学习过。现在我加入了一个新公司,我们会做一个新系统,这个系统的技术架构中选型了Kafka,虽然生产环境我们会有商业技术支持,但我们需要自己搭建开发和测试环境,以及排查一些基本的问题。因此,

  • Windows Docker好方便呀呀呀2022-06-29 09:04:19

    Windows Docker好方便呀呀呀 今天我需要测试自己写的KafKa基础类库,自己需要搭建一个KafKa环境,自己的云主机不能用,电脑也没有开虚拟机,但是想了一下需要在windows电脑安装Kafka 环境好麻烦呀!!!! 后面想到有Windows for Docker 工具可以解决困惑。 安装Hyper-V和开启Hyper-V 按以下步

  • 【Java面试】Kafka 怎么避免重复消费2022-06-24 15:04:12

    Hi,大家好,我是Mic 一个工作5年的粉丝找到我。 他说: “Mic老师,你要是能回答出这个问题,我就佩服你” 我当场就懵了,现在打赌都这么随意了吗? 我问他问题是什么,他说“Kafka如何避免重复消费的问题!” 下面看看普通人和高手的回答! 普通人: Kafka怎么避免重复消费就是我们可以通过 我们可

  • Java 最常见的 208 道面试题:(15)2022-06-22 22:35:42

    十五、Kafka 152. kafka 可以脱离 zookeeper 单独使用吗?为什么? kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 153. kafka 有几种数据保留的策略? kafka 有两种数据保存策略:按照过期时间保留和按照存储的消息大小保留。 154. kafka

  • 【转!】metersphere win源码部署2022-06-22 16:35:51

    你是个好人,可全无用处。        --《围城》 转自:https://www.cnblogs.com/bowanghou/p/15834107.html 前端:vue 后端:springboot 中间件: mysql, kafka 【meterSphere开源地址】 https://github.com/metersphere/metersphere 【准备工作】 基于技术栈,需要准备以下 软件安装:

  • 【Spark Streaming Kafka】Spark流处理消费Kafka数据示例代码2022-06-22 12:05:20

    代码 package test import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord} import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.{SparkConf, TaskContext} import org.apache.spark.streaming.dstream.{DStream

  • Kafka入门介绍2022-06-21 23:02:52

    1、Kafka简介 Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发,使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中,没有“中心主节点”的概念,集群中所有的服务器都是对等的,因此,可以在不做任何配置的更改的情况下实现服务器的的添加与删除,同样的消息的生

  • docker-compose部署emqx、minio、redis、nacos、kafka集群2022-06-21 16:32:02

    docker-compose部署minio集群 参考(https://blog.csdn.net/kea_iv/article/details/108061337) 创建一个新的文件夹,并在文件夹下创建一个docker-compose.yaml vi docker-compose.yaml 把一下内容复制进去 #docker-compose.yaml version: '3.7' # starts 4 docker containers runn

  • Kafka基本命令2022-06-20 22:01:00

    1、启用一个cmd,先启动ZooKeeper D:\env\kafaka\kafka_2.13-3.2.0>bin\windows\zookeeper-server-start.bat config\zookeeper.properties 2、再启用一个cmd启动Kafka D:\env\kafaka\kafka_2.13-3.2.0>bin\windows\kafka-server-start.bat config\server.properties 3、在

  • kafka_2.12-3.0.0 版本Topic、producer 命令记录2022-06-20 11:34:10

    十年河东,十年河西,莫欺少年穷 学无止境,精益求精 kafka 3.0 版本官方文档:https://kafka.apache.org/30/documentation.html 1、topic相关 常用命令 查询topics列表 bin/kafka-topics.sh --bootstrap-server 192.168.182.128:9092 --listbin/kafka-topics.sh --bootstrap-server 19

  • 【Kafka】10道不得不会的 Kafka 面试题2022-06-19 16:04:31

    博主介绍:

  • Golang操作Kafka2022-06-19 00:02:27

    一.使用库说明 Golang中连接kafka可以使用第三方库:github.com/Shopify/sarama 二.Kafka Producer发送消息 package main import ( "fmt" "github.com/Shopify/sarama" ) func main() { config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForAll

  • 4.11:Storm之WordCount2022-06-18 19:35:42

    〇、概述 1、拓扑结构 2、目标 使用storm进行计数实验。 一、启动服务                       在网页中输入:http://localhost:8081可以查看storm的相关信息。 二、kafka操作 终端中输入:nohup ~/bigdata/kafka_2.11-1.0.0/bin/kafka-server-start.sh ~/bigdata/kafk

  • 启动hive报错: no hbase in2022-06-18 11:31:21

    which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/jdk1.8.0_65/bin:/opt/module/kafka/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/mydata/kafka/kafka-eagle-bin-2.0.8/efak-web-2.0.8/bin:/root/sh:/root/bin:/opt/jdk1

  • 4.3:flume+Kafka日志采集实验2022-06-16 19:35:11

    〇、目标 使用kafka和flume组合进行日志采集 拓扑结构   一、重启SSH和zk服务 打开终端,首先输入:sudo service ssh restart    重启ssh服务。之后输入下述命令开启zookeeper服务: zkServer.sh start 二、启动flume 输入cd /home/user/bigdata/apache-flume-1.9.0-bin 进入flum

  • linux 环境下,kafka_2.12-3.0.0 集群搭建2022-06-16 16:35:24

    十年河东,十年河西,莫欺少年穷 学无止境,精益求精 卡夫卡优秀的消息队列,各大公司都在使用 1、准备三台虚拟机,分别为:192.168.182.128、192.168.182.129、192.168.182.130 2、下载kafka安装包,我使用的是3.2版本,https://kafka.apache.org/downloads  3、讲kafka传入到三台liunx服务器,

  • 用扩展的方式在 PHP 中使用 Kafka2022-06-15 20:03:07

    前言:         由于之前在 PHP 中使用 Kafka 是通过 composer 包的方式,由于 nmred/kafka-php 很久没有维护,并且网上相关问题的文章也比较少。所以我这次换成 PHP 扩展 RdKafka 继续使用,主要介绍扩展安装和这种方式的基本操作。   安装: 1. 下载 地址在这里,点击即可。(找到与

  • springcloudStream集成Kafka遇到的问题2022-06-15 15:33:50

    最近做kafka存储文件类型的信息的项目,遇到两个问题一个是springcloudstream的版本问题,这个问题只需要注意在引入maven依赖的时候不添加version就可以避免,把版本管理问题交给 springcloud来管理,比如我用的是--<spring.cloud.version>Hoxton.SR12</spring.cloud.version> <spring.c

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有