标签：DAG COMP9313 shuffling Pyspark Distributed RDD https Resilient

Resilient Distributed Dataset (RDD)

https://drive.google.com/drive/folders/13_vsxSIEU9TDg1TCjYEwOidh0x3dU6es

https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L3.pdf

 

setting

 

 

wordCount MapReduce

 

 

 

 

 

 

 

 

Lineage:

　　1）在此结构下出错丢失partition文件： r5.todebugstring()

　　2）如果worker坏掉了，并且造成数据丢失，可以从原始数据集中恢复，并通过lineage结构

　　3)  如果driver坏掉了，有back up的driver

 

 

 

 

DAG :  说实话 不知道在讲啥 偷懒太严重了 两小时准备了只11张PPT 全是字

　　DAG and RDD are two core components in spark

　　1) stage 1: no shuffling (narrow transformations)  stage2: shuffling stage3: shuffling (Wide transformation)

　　

 

 

 

 

 

标签：DAG,COMP9313,shuffling,Pyspark,Distributed,RDD,https,Resilient
来源： https://www.cnblogs.com/ChevisZhang/p/13152371.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。