标签：python apache-spark pyspark apache-spark-sql spark-dataframe

我在独立群集模式下运行spark作业时遇到这些错误.

我的火花工作旨在：

>运行一些groupby,
>数,
>并加入以获得最终的df,然后加入df.toPandas().to_csv().

输入数据集为524 Mb.我得到的错误：

WARN TaskMemoryManager: Failed to allocate a page (33554432 bytes), try again.

多次重复上述后,再次出现新错误

> WARN NettyRpcEnv：忽略失败：java.util.concurrent.TimeoutException：无法在10秒内收到任何回复
> org.apache.spark.rpc.RpcTimeoutException：期货在[10秒]后超时.此超时由spark.executor.heartbeatInterval控制
> at org.apache.spark.rpc.RpcTimeout.组织$阿帕奇$火花$RPC $RpcTimeout $$createRpcTimeoutException
> ExecutorLostFailure(由其中一个正在运行的任务导致执行程序驱动程序退出)原因：执行程序心跳超时158295 ms后超时
>处理来自(‘127.0.0.1’,49128)的请求时发生异常
Traceback(最近一次调用最后一次)：

文件“/home/stp/spark-2.0.0-bin-hadoop2.7/python/pyspark/accumulators.py”,第235行,句柄
num_updates = read_int(self.rfile)
在read_int中输入文件“/home/stp/spark-2.0.0-bin-hadoop2.7/python/pyspark/serializers.py”,第545行
提出EOFError
引发EOFError
>最后### ******** ##

py4j.protocol.Py4JNetworkError：尝试连接到Java服务器时发生错误(127.0.0.1:38073)

首先想到的是,我认为,错误可能是由于内存错误(TaskMemoryManager)和总计16gb,该过程消耗最大6 gb,留下9 gb空闲.我还将驱动程序内存设置为10G.通过.

但是,当我在我的最终数据帧上执行count()或show()时,它是成功的操作.但是在执行toCsv时,它会抛出上述错误/警告.

实际上并不了解/猜测可能导致问题的原因.

请帮我分析一下上面的错误.欢迎任何帮助/评论.谢谢.

解决方法:

在我们的例子中,我们有很多较小的表(<10 MB).因此我们决定禁用广播,此外还开始使用G1GC进​​行垃圾收集.将这些条目添加到$SPARK_HOME / conf中的spark-defaults.conf文件中

spark.driver.extraJavaOptions -XX:+UseG1GC
spark.executor.extraJavaOptions  -XX:+UseG1GC
spark.sql.autoBroadcastJoinThreshold    -1

或者作为替代方案,您可以调整autoBroadcast的阈值大小,并查看它解决问题.

标签：python,apache-spark,pyspark,apache-spark-sql,spark-dataframe
来源： https://codeday.me/bug/20190724/1524299.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。