标签：INFO shell 04 34 01 spark 执行 example

1. 找到CDH 安装spark的目录

执行 which spark-shell
/usr/bin/spark-shell
执行 ll /usr/bin/spark-shell
lrwxrwxrwx 1 root root 29 12月 11 14:29 /usr/bin/spark-shell -> /etc/alternatives/spark-shell
执行ll /etc/alternatives/spark-shell
lrwxrwxrwx 1 root root 68 12月 11 14:29 /etc/alternatives/spark-shell -> /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/bin/spark-shell

所有安装目录是 /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373

 cd /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/examples/jars
 ll
 会看到 spark-examples_2.11-2.4.0-cdh6.2.0.jar

执行

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --executor-memory 1G --total-executor-cores 2 ./spark-examples_2.11-2.4.0-cdh6.2.0.jar 100

会看到终端打印日志：

2/01/04 18:34:48 INFO cluster.YarnScheduler: Removed TaskSet 0.0, whose tasks have all completed, from pool 
22/01/04 18:34:48 INFO scheduler.DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 8.309 s
22/01/04 18:34:48 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 8.413772 s
Pi is roughly 3.1415547141554714
22/01/04 18:34:48 INFO server.AbstractConnector: Stopped Spark@687a762c{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
22/01/04 18:34:48 INFO ui.SparkUI: Stopped Spark web UI at http://hadoop2:4040
22/01/04 18:34:48 INFO cluster.YarnClientSchedulerBackend: Interrupting monitor thread

Pi is roughly 3.1415547141554714

标签：INFO,shell,04,34,01,spark,执行,example
来源： https://www.cnblogs.com/gradyblog/p/15763631.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。