我是Spark的新手,我想在 yarn 簇模式下使用apache spark在控制台上打印日志。
最佳答案
您需要检查log4j.properties文件中的值。就我而言,我在/etc/spark/conf.dist目录中有此文件
log4j.rootCategory=INFO,console
INFO-在控制台上打印所有日志。您可以将值更改为ERROR,WARN来限制您希望在控制台上看到的信息,因为 Spark 日志可能会让人不知所措
关于hadoop - 如何使用 Spark 在 yarn 簇模式下将原木直接打印到控制台上,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42904625/