我正在尝试使用以下 spark-submit 命令执行 spark 作业-
spark-submit --class package.Classname --queue QueueName --executor-cores 2 --master yarn --deploy-mode cluster --executor-memory 8G --num-executors 20 --driver-memory 10G --conf "spark.yarn.executor.memoryOverhead=3G" --conf "spark.speculation=true" --conf "spark.network.timeout=600" --conf "spark.rpc.askTimeout=600s" --conf "spark.executor.heartbeatInterval=120s" --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" --conf "spark.root.logger=ALL,console" --conf "spark.hadoop.validateOutputSpecs=false" --conf "spark.driver.extraClassPath=/home/tumulusr/spark-defaults.conf" --files /etc/spark2/2.6.4.0-91/0/hive-site.xml,config/ibnext.properties,config/hive.properties,config/mongo.properties,config/error.properties /home/tumulusr/pn.jar
该应用程序被接受，但很快它退出并出现以下错误:
错误根目录:EAP#5:缺少应用程序配置文件
INFO ApplicationMaster:最终应用状态:FAILED，exitCode:16，(原因:在报告最终状态之前调用了关闭 Hook 。)
INFO ApplicationMaster:使用 FAILED 取消注册 ApplicationMaster(诊断消息:在报告最终状态之前调用了关闭 Hook 。)
INFO ApplicationMaster:删除暂存目录(带有应用程序 ID 的目录路径)
信息 ShutdownHookManager: 称为 的关闭 Hook
我错过了我的 spark-submit 命令吗？
最佳答案
你可以试试下面的:
export SPARK_MAJOR_VERSION=2;export HADOOP_CONF_DIR=**/hadoop/conf/path**; spark-submit
关于apache-spark - Spark 应用程序在 Spark 上下文初始化之前以 "ERROR root: EAP#5: Application configuration file is missing"退出，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51647552/