标签：处理 联网 Streams Storm Apache Spark 数据

批处理是把数据攒起来，一次性进行处理的方法。相对而言，流处理是不保存数据，按照到达处理服务器的顺序对数据依次进行处理。

想实时对数据做出反应时，流处理是一个很有效的处理方法。因为批处理是把数据积攒之后隔一段时间进行处理，所以从数据到达之后到处理完毕为止，会出现时间延迟。因此，流处理这种把到达的数据逐次进行处理的思路就变得很重要了。此外，流处理基本上是不会保存数据的。只要是被使用过的数据，如果没必要保存，就会直接丢弃。

假设有个系统，这个系统会对道路上行驶的车辆的当前位置和车辆雨刷的运转情况进行搜集。
仅凭搜集那些雨刷正在运转的车辆的当前位置，就能够实时确定哪片地区正在下雨。此时，使用者可能想保存下过雨的地区的数据，这时候只要保存处理结果就好，所以原来的传感器数据可以丢掉不要，流处理正适用于这种情况。用流处理平台就能实现流处理。

流处理和批处理一样，也有常用的框架，Apache Spark 和Apache Storm。

Spark Streaming

Spark Streaming 是作为Apache Spark的库被公开的。

通过Spark Streaming，就能够把Apache Spark 拿到流处理中来使用

Spark Streaming 是用RDD 分割数据行的，它通过对分割的数据执行小批量的批处理来实现流处理。输入的数据会被转换成一种叫作DStream 的细且连续的RDD。先对一个RDD 执行Spark 的批处理，将其转换成别的RDD，然后按顺序对所有RDD 反复执行上述处理来实现流处理。 

Apache Storm

Apache Storm 是用于实现流处理的框架

用Storm 处理的数据叫作Tuple，这个Tuple 的流程叫作Streams。

Storm 的处理过程由Spout 和Bolts 两项处理构成，这种结构叫作Topology。Spout 从其他处理接收到数据的时候，Storm 处理就开始了。Spout 把接收到的数据分割成Tuple，然后将其流入Topology 来生成Streams，这就形成了流处理的入口。接下来，Bolts 接收Spout 以及从其他Bolts 输出的Streams，并以Tuple 为单位处理收到的Streams，然后将其作为新的Streams 输出。可以自由组合Bolts 之间的连接，也可以根据想执行的处理自由组合Topology，还可以随意决定Tuple 使用的数据类型，以及使用JSON 等数据格式。

标签：处理,联网,Streams,Storm,Apache,Spark,数据
来源： https://blog.csdn.net/super828/article/details/120694046

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。