标签：入门 实时 Streaming 使用 数据流 spark Spark
Spark Streaming入门
概述
Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复杂的算法来处理map，reduce，join和window。最后，可以将处理后的数据推送到文件系统，数据库和实时仪表板。实际上，您可以在数据流上应用Spark的 机器学习和 图形处理算法。
在内部，它的工作方式如下。Spark Streaming接收实时输入数据流，并将数据分成批次，然后由Spark引擎处理，以成批生成最终结果流。
<Spark Streaming提供了称为离散化流或DStream的高级抽象，它表示连续的数据流。可以根据来自Kafka和Kinesis等来源的输入数据流来创建DStream，也可以通过对其他DStream应用高级操作来创建DStream。在内部，DStream表示为RDD序列 。
官方链接
Spark Streaming个人定义：将不同的数据源的数据经过Spark Streaming处理之后将结果集输出到外部文件系统
特点：
- 低延时
- 能从错我中高效的恢复：fault-tolerant
- 能够运行在成百上千的节点
- 能够将批处理、机器学习、图计算等子框架和Spark Streaming综合起来使用
架构：
从上图可以看出，只要安装了spark后，Spark Streaming不需要单独安装
验证了 One stack to rule them all：一栈式解决
应用场景
- 交易过程中金融欺诈检测
- 实时电子传感器
- 电商产品推荐
- web日志实时监控
集成Spark生态系统的使用
- Spark Streaming 与 Spark Core 结合使用
- Spark Streaming 与 MLlib结合使用
- Spark Streaming 与 Spark SQL结合使用
Spark Streaming发展史
- 2011年伯克利大学提出
- 2012年重写了spark core的大部分代码
- 2014年发布稳定版本0.9版本(Spark Streaming正式毕业)
词频统计
- 使用spark-submit执行
- 使用spark-shell执行
spark源码地址：https://github.com/apache/spark/tree/master/examples/src/main
选择scala版本，resources下是测试数据
标签：入门,实时,Streaming,使用,数据流,spark,Spark 来源： https://blog.csdn.net/weixin_36815898/article/details/114528000
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。