一、Flink简介 Flink是有状态的流式计算。 Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。 Flink可以部署在任意地方，Apache flink是一个分布式系统，集成了所有常见的集群资源管理器。如hadoop yarn，Apache mesos和kubernetes（k8s）。也可以作为独立
业务场景： Flink消费Kafka数据写入Hbase 组件版本： CDH：6.3.0 Flink：1.12.1 Hbase:2.1.0-cdh6.3.0 问题1： java.lang.NoSuchMethodError:org.apache.commons.cli.Option.builder(Ljava/lang/string;) 问题原因： hadoop-common依赖中commons-cli版本过低，导致程序运行找不到最新版的方
一、Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. 添加 flink-client客户端 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.12<
目录 一、编译Flink1 下载flink源码2 增加maven镜像3 执行编译命令 二、编译parcel1 下载flink-parcel2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件 三、CDH集成1 登录CDH2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6 添加服务报错解决 参考资料
流处理引擎通常为应用程序提供了三种数据处理语义：最多一次、至少一次和精确一次。 如下是对这些不同处理语义的宽松定义(一致性由弱到强)： At most noce < At least once < Exactly once < End to End Exactly once At-most-once-最多一次 有可能会有数据丢失 这本质上是简单
目录 flink-conf.yamlmastersworkerszoo.cfg日志配置 flink-conf.yaml # Jobmanager的地址，taskmanager必须要识别并能连上。 # 只有standalone的集群模式起作用，当执行bin/jobmanager.sh --host<hostname>的时候将被覆盖 # 在YARN或者Mesos的集群模式下将自动替换为jobman
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 在之前解析过的Flink物理执行图（一）和Checkpoint过程中我们能看到过程中涉及到了数据的存储和交互，并且在后面分析Task运行任务时也会涉及
用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。
