标签：Standalone 模式 application client examples 提交 Spark spark

一.Client提交模式

　　提交命令：

　　　　./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100

　　　　等价【默认为client】：

　　　　./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100

　　执行流程：

　　分析：

　　　　standalone-client模式提交任务，会在客户端看到task的执行情况和结果。当在客户端提交多个application时，每个application会启动自己的dirver，driver与集群worker有大量的通信，会造成客户端网卡流量激增的问题，这种模式适用于测试而不适应于生产环境。

二.Cluster提交模式

 　　提交命令：

　　　　./spark-submit --master spark://node1:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100　

　　执行流程：

　　分析：

　　　　standalone-cluster模式提交任务driver会在集群中的随机选择一个worker上启动，如果提交多个application，那么每个application的driver会分散到集群的各个worker节点，相当于将client模式的客户端网卡流量激增问题分散到集群的各个节点中。这种模式适用于生产环境。

标签：Standalone,模式,application,client,examples,提交,Spark,spark
来源： https://www.cnblogs.com/yszd/p/10504869.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。