我正在尝试调试Cloudera Hadoop的WordCount示例,但我不能。我已经记录了映射器和 reducer 类,但在控制台中没有出现日志。
我附上图片。 在第一张图片中,Java 日志。
在第二个图像中,记录结果。看来不是第一个:( http://i56.tinypic.com/2eztkli.png
有人知道吗??多谢!!
最佳答案
您正在执行“hadoop jar ...”,因此您将使用实际的 Hadoop 集群(可能是单节点)开始您的工作。
这意味着所有日志记录都是由集群完成的,而不是在控制台上完成的。 您在控制台上看到的本质上只是一个进度指示器。
您的作业分为一项或多项映射任务以及一项或多项归约任务。这些任务中的每一个都是一个单独的 java 进程,并且将具有单独的日志记录(由多个文件组成)。
您应该在 $HADOOP_LOG_DIR/userlogs 中找到这些日志文件
因为很多事情都是并行完成的,所以您不希望这些日志文件成为“一个”巨大的日志文件。它会变成一团无用的困惑。
现在,对于学习和开发 hadoop 应用程序,有一种更简单的方法:只需将应用程序作为普通 Java 应用程序启动即可以本地模式运行应用程序:java -jar ...
关于hadoop - 日志没有出现在控制台中 :( [Hadoop Question],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4402031/