<分区>
我已经编辑了 log4j.properties 文件以设置 log4j.rootCategory=INFO, console 并且日志记录在 spark-shell 中停止但它在 pyspark 中是不屈不挠的.
下面的代码在 pyspark 中为我工作。但是我每次打开 pyspark 控制台时都需要设置它。
logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )
我正在寻找此问题的永久修复方法，并想了解 pyspark 如何单独获取默认属性，而 spark-shell 却没有。我检查过this线程，但找不到解决方案。
最佳答案
这对我有用:
sc.setLogLevel("OFF")
这意味着您需要使用 spark 上下文对象将日志级别设置为 OFF。
关于logging - 在 PySpark 中禁用 INFO 日志记录，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37304708/
相关文章：
django - 我的 Django/uWSGI vassal 的堆栈跟踪记录在哪里？
logging - 将 Strapi 日志保存到日志文件中的好方法是什么？
mysql - 无法触摸 `/var/log/mysqld.log' : Permission denied
java - 使用 Kerberos 设置 Spark SQL 连接
apache-spark - 谷歌数据流与 Apache Spark
asp.net - 记录异常时忽略 ThreadAbortException
amazon-web-services - JDBC读/写中的 Spark 时间戳时区
apache-spark - 使用 pyspark 将列名称动态传递到列列表中每列的检查条件是否为空条件