我已经尝试在 hadoop-home/conf 中将 log4j.properties.template 更改为 log4j.properties，但 spark 仍然无法识别它。我试过设置
sparkconf.set("log4j.configuration", ".\\config\\log4j.properties");
但这也行不通。我也尝试添加
-Dlog4j.configuration=.\config\log4j.properties
到 eclipse 运行配置但不起作用。 Spark 在启动期间仍然使用其默认值
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
我还将 SPARK_CONF_DIR 设置为我的环境变量以指向 spark/conf 目录，但这似乎也不起作用。
我在 eclipse 中以 Windows 独立模式运行它
SparkConf sparkConf = new SparkConf().setAppName("Test").setMaster("local[1]")
.set("log4j.configuration", ".\\config\\log4j.properties");
最佳答案
我遇到过类似的问题
sparkconf.set("log4j.configuration", "path to log4j.properties");
解决方法是使用
import org.apache.log4j.PropertyConfigurator
PropertyConfigurator.configure("path to log4j.properties")
关于apache-spark - 如何在 Windows 上以独立模式设置 Spark log4j 路径？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31861883/