ICode9

精准搜索请尝试: 精确搜索
  • 189 Spark Streaming概述2021-07-07 10:53:37

    Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、j

  • 大牛手把手带你!mysql详细教程2021-07-06 23:59:44

    一、对Kafka的认识 1.Kafka的基本概念 2.安装与配置 3.生产与消费 4.服务端参数配置 二、生产者 1.客户端开发 2.原理分析 3.重要的生产者参数 三、消费者 1.消费者与消费组 2.客户端开发 四、主题与分区 1.主题的管理 2.初识KafkaAdminCilent 3.分区的管理 4.如何选

  • 大数据平台复习11.Spark streaming2021-07-06 23:34:07

    流数据 大数据的两种存在形式:静态和动态 静态大数据:已经积累产生并存在那里的大数据 动态大数据:随着时间的推移不断的产生的大数据 各种摄像头的监控数据 12306的订票请求 银行的交易请求 Storm 最早是由Nathan Marz和他的团队于2010年在数据分析公司BackType开发 2011年Back

  • ElasticSearch(十):实例之与SpringData与Spark Streaming和Flink中框架集成2021-07-06 11:57:31

    目录 Elasticsearch集成 Spring Data框架集成  Spring Data框架介绍 Spring Data Elasticsearch介绍 Spring Data Elasticsearch版本对比 框架集成 Spark Streaming框架集成 Spark Streaming框架介绍 框架集成 Flink框架集成 Flink框架介绍 框架集成 Elasticsearch集成 Spring

  • Spark Streaming整合Kafka及示例2021-07-06 10:02:20

    Spark Streaming整合Kafka及示例 Spark和kafka整合有2中方式 : Receiver 和 Dirct 主要学习Dirct方式 一、Receiver 二、Direct 三、代码演示 完整pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln

  • 初步理解类加载运行机制和类加载过程,Java面试真题精选2021-06-28 21:58:50

    一、对Kafka的认识 1.Kafka的基本概念 2.安装与配置 3.生产与消费 4.服务端参数配置 二、生产者 1.客户端开发 2.原理分析 3.重要的生产者参数 三、消费者 1.消费者与消费组 2.客户端开发 四、主题与分区 1.主题的管理 2.初识KafkaAdminCilent 3.分区的管理 4.如何选

  • Streaming Systems:Concept2021-06-27 23:02:29

    流式数据处理在当今大数据领域是非常重要,这是有足够充分的理由的,如下: 企业需要更及时地洞察他们的数据,而流式数据是实现更低延迟的一个好方法;现在商业中有海量无界的数据,使用为永不结束的数据设计的系统处理它们就更为容易;当数据一到达就进行处理,工作负载会随着时间推移更加

  • spark-streaming2021-06-27 22:58:31

    import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import

  • java数组初始化赋值,聪明人已经收藏了!2021-06-27 15:33:33

    一、对Kafka的认识 1.Kafka的基本概念 2.安装与配置 3.生产与消费 4.服务端参数配置 二、生产者 1.客户端开发 必要的参数配置消息的发送序列化分区器生产者拦截器 2.原理分析 整体架构元数据的更新 3.重要的生产者参数 三、消费者 1.消费者与消费组 2.客户端开发 必

  • 论文阅读记录[ Benchmarking Streaming Computation Engines: Storm, Flink and Spark Streaming ]2021-06-20 16:33:42

    简介:雅虎发布的一份各种流处理引擎的基准测试,包括Storm, Flink, Spark Streaming 动机:贴近生产环境,使用Kafka和Redis进行数据获取和存储,设计并实现了一个真实的流处理基准。 论文中的一些测试结果和结论: 原文:The results demonstrate that at fairly high throughput, Storm

  • Spark3大数据实时处理-Streaming+Structured Streaming 实战2021-06-19 13:02:08

    Spark3大数据实时处理-Streaming+Structured Streaming 实战   超清原画 完整无密 网盘下载 点击下载:Spark3大数据实时处理-Streaming+Structured Streaming 实战 随着云计算和大数据的快速发展,在企业中大数据实时处理场景的需求越来越多。本课针对企业级实时处理方案进行全方

  • Flink 中的窗口2021-06-16 12:00:42

    Flink 中的窗口 Window 分类滚动窗口(Tumbing Window):滑动窗口(Sliding Window):会话窗口(Session Window): 在流式计算中,我们所接入的数据集是无限流,或者说是没有边界的数据流。那么有没有办法将无限流转换为有限流呢?这里就需要引入 Window(窗口)的概念,通过 Window 我们可以按照

  • 写在开头:Blink开源,Spark3.0,谁才是大数据领域最闪亮的星?2021-06-10 21:08:20

      2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区,来自Databricks、NVIDIA、Google以及阿里巴巴的工

  • 写在开头:Blink开源,Spark3.0,谁才是大数据领域最闪亮的星?2021-06-10 21:08:00

      2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区,来自Databricks、NVIDIA、Google以及阿里巴巴的工

  • Kafka+Spark Streaming管理offset的几种方法2021-06-10 21:04:43

    来源:大数据技术与架构 作者:王知无 大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 暴走大数据 点击右侧关注,暴走大数据! By  大数据技术与架构 场景描述: Kaf

  • Kafka+Spark Streaming管理offset的几种方法2021-06-10 21:04:25

    来源:大数据技术与架构 作者:王知无 大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 暴走大数据 点击右侧关注,暴走大数据! By  大数据技术与架构 场景描述: Kaf

  • Flink实战(八十六):flink-sql使用(十三)Flink 与 hive 结合使用(五)Hive Streaming2021-06-10 20:05:21

    声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the hive tabl

  • Flink实战(八十六):flink-sql使用(十三)Flink 与 hive 结合使用(五)Hive Streaming2021-06-10 20:05:10

    声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the hive tabl

  • Apache Flink:测试使用reduce增量聚合和windowAll操作2021-06-06 09:33:03

    1.声明 当前内容主要为测试和使用Apache Flink中的增量聚合操作,当前内容主要借鉴:Flink官方文档 主要内容有 使用Flink的增量聚合分析增量聚合操作windowAll操作 pom依赖:参考前面的文章 2.增量聚合操作的demo 数据源参考前面博文中的ComputerTemperature这个实体类 import o

  • Spark综合性练习(Spark,Kafka,Spark Streaming,MySQL)2021-06-01 17:55:21

    写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限,博客中难免会有一些错误,有纰漏之处恳请各位大佬不吝赐教

  • 春城无处不飞花,小白带你侃SparkStreaming(原理引入篇)2021-06-01 17:54:10

            介绍完了SparkSQL,接下来让我们推开SparkStreaming的大门,接收新知识的洗礼。跟刚入坑SparkSQL时一样,让我们来回顾一下Spark的内置模块。         相信勤奋好学的大家肯定都还记得的对吧,那么接下来我们就要正式开始学习SparkStreaming咯~         

  • Spark一些优化2021-05-31 17:05:26

    一、优化1:数据本地化 一、进程本地化级别 1.PROCESS_LOCAL:进程本地化, 代码和数据在同一个进程中,也就是在同一个executor中;计算数据的task由executor执行,数据在executor的BlockManager中;性能最好. 2.NODE_LOCAL:节点本地化 代码和数据在同一个节点中;比如说,数据作为一个HDFS block

  • 按 CompletableFuture 完成顺序实现 Streaming Future2021-05-30 10:56:07

    Java 8 给引入了 `CompletableFuture` 和 Stream API 这样的工具。让我们尝试把它们结合起来,创建一个 Stream 在 future 完成时返回一组 `CompletableFutures` 集合。在 [parallel-collectors][1] V1.0.0 开发中也使用了这种方法。[1]:https://github.com/pivovarit/parallel-colle

  • Unity Render Streaming,3D模型流式云渲染的解决方案2021-05-29 09:58:44

    Unity Render Streaming是Unity开源的一个高质量、高复杂的3D模型在云端渲染,手机端侧、浏览器显示的解决方案。此解决方案的流技术利用了WebRTC,开发人员甚至可以使用WebRTC包创建自己独特的解决方案。 WebRTC的安装使用我们在此前的博客中说过了,大家可以看我之前的博客查看怎样

  • 30岁以后搞Java已经没有前途?分享面经2021-05-18 11:32:39

    前言 最近一个读者和我反馈,他坚持刷题2个月,终于去了他梦寐以求的大厂,薪资涨幅非常可观,期间面字节跳动还遇到了原题… 因为据我所知很多大厂技术面试的要求是:技术要好,计算机基础扎实,熟练掌握算法和数据结构,语言不重要,熟练度很重要。每一轮技术面试都可能考代码,不只考算法,但一

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有