apache-spark - 在 Spark 或 Spark Streaming 中,如何配置 log4j 属性以便控制台中不会打印太多日志?

标签 apache-spark spark-streaming

当我尝试运行 Spark Streaming 程序时,控制台中打印出太多日志。您能否推荐一个好的配置,以便我只能获得有用的信息?

最佳答案

编辑conf/log4j.properties以满足您的需求。

您很可能只是想改变

log4j.rootCategory=INFO, console

log4j.rootCategory=WARN, console

关于apache-spark - 在 Spark 或 Spark Streaming 中,如何配置 log4j 属性以便控制台中不会打印太多日志?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25390962/

相关文章:

scala - S3 目录上的 Spark Streaming

apache-spark - MapWithState 给出 java.lang.ClassCastException : org. apache.spark.util.SerializableConfiguration cannot be cast while recovering from checkpoint

mongodb - 在 Worker 的帮助下从 Spark 读取巨大的 MongoDB 集合

amazon-web-services - Amazon s3a 使用 Spark 返回 400 Bad Request

apache-spark - Sparks Streaming中可以级联滑动时间窗口吗

spark-streaming - Spark 流中窗口操作中 Rdd 的确切数量

scala - Docker 上的 Spark 不接受作业

java - Spark聚合方法中的并发

hadoop - 如何有效地连接两个表——大表和小表?

hadoop - 为什么我们需要 MapReduce 中的 "map"部分?