ICode9

精准搜索请尝试: 精确搜索
  • kafka学习2022-05-06 14:00:06

    zookeeper启动:./zkServer.sh start kafka启动:./kafka-server-start.sh -daemon /opt/kafka/config/server.properties zookeeper停止:./zkServer.sh stop kafka停止:./kafka-server-stop.sh 检查运行是否成功 : ps aux|grep Kafka                                

  • 首单分析(一)2022-05-06 12:33:39

    1、需求分析 1.1、当日新增付费用户分析 按省份|用户性别|用户年龄段,统计当日新增付费用户首单平均消费及人数占比无论是省份名称、用户性别、用户年龄,订单表中都没有这些字段,需要订单(事实表)和维度表(省份、用户)进行关联,形成宽表后将数据写入到ES,通过Kibana进行分析以及图形展示。

  • 使用kafka-clients依赖后报错2022-05-06 11:03:35

    一、报错信息如下: java.lang.NoSuchMethodError: org.apache.kafka.clients.producer.internals.TransactionalRequestResult.<init>(Ljava/lang/String;)V at org.apache.flink.streaming.connectors.kafka.internal.FlinkKafkaInternalProducer.enqueueNewPartitions(Fl

  • Django Model 如何返回空的 QuerySet2022-05-05 22:31:46

    >>> from django.contrib.auth.models import User >>> User.objects.none() <QuerySet []> 以上就是本文的全部内容,如果觉得还不错的话,欢迎点赞,转发和关注,感谢支持。 推荐阅读: 计算机经典书籍 技术博客: 硬核后端开发技术干货,内容包括 Python、Django、Docker、Go、Redis、Elas

  • 日活需求2022-05-05 09:01:12

    1、需求分析&实现思路 1.1、用户首次登录趋势图 从项目的日志中获取用户的启动日志,如果是当日第一次启动,纳入统计。将统计结果保存到ES中,利用Kibana进行分析展示 1.2、实现思路 第一步:SparkStreaming 消费Kafka数据:Kafka作为数据来源,从kafka中获取日志,kafka中的日志类型有两种,启

  • spring boot集成kafka报错2022-05-04 19:34:12

    背景: spring boot 2.1.0 集成 kafka,报错:[org.springframework.kafka.annotation.KafkaListenerAnnotationBeanPostProcessor]: Constructor threw exception; nested exception   kafka依赖配置如下: <!-- kafka 依赖 开始 --> <dependency> <

  • spring boot引入kafka2022-05-04 10:01:55

     一、引入kafka依赖: <!-- kafka 依赖 开始 --> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> <depend

  • kafka介绍和使用2022-05-03 19:33:50

    1 Kafka简介 ​Kafka是最初由Linkedin公司开发,它是一个分布式、可分区、多副本,基于zookeeper协调的分布式日志系统;常见可以用于web/nginx日志、访问日志,消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是:日志收集系统和消息系统。 ​Kafka

  • Docker搭建kafka2022-05-03 03:00:49

    一、拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 二、检查 docker-compose docker-compose -v 三、创建 docker-compose.yml 文件 cd /data && mkdir docker-compose && cd docker-compose touch docker-compose.yml 添加内容 version:

  • Kafka 服务器源码2022-05-02 15:33:50

    4.1 程序入口 Kafka.scala def main(args: Array[String]): Unit = { try { // 获取参数相关信息 val serverProps = getPropsFromArgs(args) // 配置服务 val server = buildServer(serverProps) try { if (!OperatingSystem.IS_WINDOWS && !Java.

  • Kafka 生产者源码2022-05-02 03:02:18

    2.1 初始化 2.1.1 程序入口 从用户自己编写的 main 方法开始阅读 package com.atguigu.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.Prod

  • 集成 SpringBoot2022-05-01 12:03:26

    SpringBoot 是一个在 JavaEE 开发中非常常用的组件。可以用于 Kafka 的生产者,也可以 用于 SpringBoot 的消费者。 1)在 IDEA 中安装 lombok 插件 在 Plugins 下搜索 lombok 然后在线安装即可,安装后注意重启 2)SpringBoot 环境准备 (1)创建一个 Spring Initializr 注意:有时候 SpringB

  • Maxwell部署配置整理2022-04-30 20:34:29

    整理一下以前的笔记:   项目背景:     需要使用Maxwell进行对MySQL的业务库数据采集到Kafka   版本选择:当时v1.29.1开始支持HA   参考文档:https://maxwells-daemon.io/quickstart/  下载地址:https://github.com/zendesk/maxwell/releases/tag/v1.29.1   解压:tar -zxv

  • Kafka 消费者2022-04-30 19:33:09

    5.1 Kafka 消费方式 1)pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 2)push(推)模式: Kafka没有采用这种方式,因为由broker 决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s, Consumer1、Consumer2就来不及处理消息。 pull模式不足之处是

  • kafka小结2022-04-30 17:34:35

    kafaka小结 副本集 1.创建副本的单位是 topic 的 partition ,正常情况下,每个分区都有一个 leader 和零或多个followers 。总的副本数是包含 leader 的总和。所有的读写操作都由 leader 处理,一般partition 的数量都比 broker 的数量多的多,各分区的 leader 均匀的分布在 brokers 中

  • kafka初体验2022-04-30 14:00:06

    消息队列是为了解决消息间通信繁忙而诞生的,体现了解耦和异步的实现 为了解决消息间通信繁忙的问题,我们可以理解为引入了一个中间件(消息队列),发送方在发送信息的时候,不是直接发送到接收方,而是发送信息到中间件,接收方通过中间件获取自己想要的信息。 在这个过程中,我们可以把发送方

  • 思考kafka在做幂等性的时候,producerId在内存中什么时候清理掉2022-04-29 02:31:52

    情景   最近在看kafka幂等性的源码的时候,在思考一个问题,既然幂等性是通过producerId + Sequence Number来判断是否重复,那么应该在broker缓存中,有保存producerId 和 Sequence Number,那么如果长时间一直使用,是否会由于 producerId 和 Sequence Number 的增长,造成OOM呢?在网上没找

  • 普通的搭建kafka-2_12-2.4.12022-04-28 10:00:58

    搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的(partition)、多副本的 (replica),基于 zookeeper 协调的分布式消息系统,它最大的特性就是可以实时处理大量数据以满足各类需求场景: 日志收集:使用 Kafka 收集各种服务的日志,并通过 kafka 以统一接口服务的方式开放给各种 cons

  • Kafka-生产者/消费者2022-04-27 20:01:37

    1 安装Kafka库 # 推荐安装 pip install kafka-python # 不兼容python3.8 pip install kafka   2 生产者 import json from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='192.168.2.230:9092') msg_dict = { "operatorId":"

  • kafka+zookeeper集群部署2022-04-26 10:03:08

    Kafka相关概念 1)producer(生产者):消息生产者,发布消息到 kafka 集群的终端或服务。producer是能够发布消息到话题的任何对象。2)broker(服务代理):broker是已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群。broker是kafka 集群中包含的服务器。3)topic(话题):topic是特定类型

  • 85-day08-定时任务(xxl-job)实现定时更新文章发布状态2022-04-25 01:02:11

    第八章 分布式任务调度&人工审核 目标 能够理解什么是分布式任务调度 能够掌握xxl-job的基本使用 能够使用xxl-job解决黑马头条项目中定时任务的功能 能够完成自媒体端文章上下架同步的问题 1 分布式任务调度 首先我们有一个问题:就是当我们的自媒体文章进行了审核之后,有一个状态

  • 主流消息队列有哪些?2022-04-23 16:31:46

    大家好,我是【架构摆渡人】,一只十年的程序猿。这是消息队列的第一篇文章,这个系列会给大家分享很多在实际工作中有用的经验,如果有收获,还请分享给更多的朋友。 ActiveMQ ActiveMQ是一个很老的消息队列了,我也只是在很老的一些系统里面见过它。无论是性能还是功能方面,确实没有跟上时代

  • Kafak入门2022-04-22 21:31:26

    1.       kafka介绍   1.1.       主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能:   1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因  

  • Kafka回调函数2022-04-21 16:01:25

    Controller /** * 回调方法中监控消息是否发送成功 或 失败时做补偿处理 */ @GetMapping("/callback/{message}") public String sendMessageCallback(@PathVariable("message") String callbackMessage) { kafkaProducer.sendMessageCallback(call

  • kafka 实战 (ELK+kafka)2022-04-18 22:34:49

    准备 系统IP应用myiddrocker.id CentOS 7 192.168.100.20 Elasticserach+kibana+kafka+zookeeper 1 1 CentOS 7 192.168.100.30 Elasticserach+kafka+zookeeper+filebeat+logstash 2 2 CentOS 7 192.168.100.40 Elasticserach+kafka+zookeeper+filebeat 3 3 先配置好

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有