ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Spark on yarn 报错ModuleNotFoundError: No module named '_ctypes'

2022-06-19 17:36:17  阅读:234  来源: 互联网

标签:named No python yarn ctypes yum 报错 安装


提示缺少_ctypes模块。

出现这个问题的第一时间就进行了百度,但是网上能够搜到的都是在安装python环境的时候就报错,通过

yum install libffi-devel

安装模块解决。但是我的问题出现在提交任务到yarn上,而只使用local启动的时候是不会出现这个问题的,同时使用上述命令也无法解决这个现象,我以为是yum命令存在问题,怀疑是没有成功安装上模块,于是我又在anaconda中执行了

conda install libffi

但是同样无济于事,通过查看python的lib目录发现存在一个ctypes文件夹,和报错的"_ctypes"十分相似,于是就复制一份改名为"_ctypes"同样无法解决这个问题。就这样这个事情困扰了我三四天,极大延缓了我spark的学习进程。虽然会出现提示错误,但是我发现不会影响结果的正确计算,于是到发帖的这一天我决定先跳过这一章节,先继续学习接下来的知识,在后续学习的时候需要编写一个简单的统计单词频率的python小程序提交到yarn上执行,同样这个问题又来了,我很烦,一定要解决掉。经过仔细对比发现,当我不启动集群或者只有一个master主机的时候,及时提交到yarn上也是能够正常执行的,这说明问题出现在集群的其他主机上,于是我想到了其他作为datanode的主机上还没有安装python环境,于是在其他主机上安装好python环境同时执行最开始的yum安装命令,重新运行问题解决。

标签:named,No,python,yarn,ctypes,yum,报错,安装
来源: https://www.cnblogs.com/Cra2iTeT/p/16390873.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有