hadoop - 如何使用 Spark 在 yarn 簇模式下将原木直接打印到控制台上

标签 hadoop apache-spark yarn

我是Spark的新手,我想在 yarn 簇模式下使用apache spark在控制台上打印日志。

最佳答案

您需要检查log4j.properties文件中的值。就我而言,我在/etc/spark/conf.dist目录中有此文件

log4j.rootCategory=INFO,console

INFO-在控制台上打印所有日志。您可以将值更改为ERROR,WARN来限制您希望在控制台上看到的信息,因为 Spark 日志可能会让人不知所措

关于hadoop - 如何使用 Spark 在 yarn 簇模式下将原木直接打印到控制台上,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42904625/

相关文章:

hadoop - 无法访问HDFS中的/tmp文件夹

python - Pyspark 将数据写入配置单元

java - Scala - 如何返回这种 RDD 类型

apache-spark - Spark :org. apache.spark.shuffle.FetchFailedException : java. lang.RuntimeException:执行器未注册

scala - 在多列上使用 Spark ML 的 OneHotEncoder

scala - 比较Spark中两个数据框中的列

hadoop - Hadoop 2.x多节点集群安装

apache - Hive在处理小数据表插入时是否有问题?

R+Hadoop : How to read CSV file from HDFS and execute mapreduce?

hadoop - YARN正常工作时资源管理器日志错误