hadoop - 日志没有出现在控制台中 :( [Hadoop Question]

标签 hadoop mapreduce cloudera

我正在尝试调试Cloudera Hadoop的WordCount示例,但我不能。我已经记录了映射器和 reducer 类,但在控制台中没有出现日志。

我附上图片。 在第一张图片中,Java 日志。

在第二个图像中,记录结果。看来不是第一个:( http://i56.tinypic.com/2eztkli.png

有人知道吗??多谢!!

最佳答案

您正在执行“hadoop jar ...”,因此您将使用实际的 Hadoop 集群(可能是单节点)开始您的工作。

这意味着所有日志记录都是由集群完成的,而不是在控制台上完成的。 您在控制台上看到的本质上只是一个进度指示器。

您的作业分为一项或多项映射任务以及一项或多项归约任务。这些任务中的每一个都是一个单独的 java 进程,并且将具有单独的日志记录(由多个文件组成)。

您应该在 $HADOOP_LOG_DIR/userlogs 中找到这些日志文件

因为很多事情都是并行完成的,所以您不希望这些日志文件成为“一个”巨大的日志文件。它会变成一团无用的困惑。

现在,对于学习和开发 hadoop 应用程序,有一种更简单的方法:只需将应用程序作为普通 Java 应用程序启动即可以本地模式运行应用程序:java -jar ...

关于hadoop - 日志没有出现在控制台中 :( [Hadoop Question],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4402031/

相关文章:

mongodb map reduce 用于搜索条件

java - hadoop需要java吗?

sql - Hive时间戳转换问题

mysql - 仅在 hive 中过滤工作日和周末

hadoop - 如何将自定义 hadoop native 编解码器编译为 libhadoop.so?

hadoop - 如何在不同节点集群中调度hadoop map任务

hadoop - 从 s3 到 hadoop 的 distcp - 找不到文件

mysql - 更新非关键列查询 Pheonix JDBC

hadoop - Spark 和 Map-Reduce 一起使用

javascript - MongoDB-mapReduce