标签：Windows driver submit -- memory spark MAIN
一、本地代码编译
mvn clean install -DskipTests
二、构建spark提交脚本
样例如下：ip_spark.bat
@echo off
set param=%1
set PROJECT_DIR="D:\gitlab\CP_WiseCloudLocationService_WiseCloudGeoDataBI\geodata-dataprocess\geodata-ipdata-dataprocess"
set COMMON_JARS=%PROJECT_DIR%\target\libs\geodata-common-2.3.3.101.jar
set MAIN_CLASS="com.huawei.wisecloud.location.geodata.common.main.DataAnalysis"
set MAIN_JAR=%PROJECT_DIR%\target\geodata-ipdata-dataprocess-2.3.3.101.jar
set CONFIG_FILE=%PROJECT_DIR%\config\config.properties
cd /d %PROJECT_DIR%
if "%param%"=="debug" (
mvn clean install -DskipTests && spark-submit --driver-memory 10G --num-executors 6 --executor-memory 2G --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 --jars %COMMON_JARS% --class %MAIN_CLASS% --master local[4] %MAIN_JAR% %CONFIG_FILE%
) else if "%param%"=="ds" (
spark-submit --driver-memory 10G --num-executors 6 --executor-memory 2G --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 --jars %COMMON_JARS% --class %MAIN_CLASS% --master local[4] %MAIN_JAR% %CONFIG_FILE%
) else if "%param%"=="submit" (
spark-submit --driver-memory 10G --num-executors 6 --executor-memory 2G --jars %COMMON_JARS% --class %MAIN_CLASS% --master local[4] %MAIN_JAR% %CONFIG_FILE%
) else (
mvn clean install -DskipTests && spark-submit --driver-memory 10G --num-executors 6 --executor-memory 2G --jars %COMMON_JARS% --class %MAIN_CLASS% --master local[4] %MAIN_JAR% %CONFIG_FILE%
)
三、cmd提交spark任务
提交命令：
ip_spark submit
四、spark任务debug
提交命令：
ip_spark debug
端口在监听，如下图：
FAQ:
1、spark任务在提交的时候，出现加载hive的临时数据目录权限失败
用命令查询指定文件的权限
命令为：winutils ls software
权限不足的文件如下：
C:\>winutils ls software
FindFileOwnerAndPermission error (1789): ????????????????
权限777的文件如下：
C:\>winutils chmod -R 777 temp
C:\>winutils ls temp
drwxrwxrwx 1 BUILTIN\Administrators NT AUTHORITY\SYSTEM 4096 Dec 8 2020 temp
所以在spark安装的目录下把conf/hive-site.xml文件中的hive的临时数据目录修改为有权限的文件路径
标签：Windows,driver,submit,--,memory,spark,MAIN 来源： https://www.cnblogs.com/irvin-chen/p/14122118.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。