hadoop - 在没有作业的情况下运行作业时获取状态

标签 hadoop

当我使用hadoop应用程序运行hadoop作业时,它会打印很多内容。其中,它显示了工作的相对进度(“ map :30%,减少:0%”之类的东西)。但是,在没有应用程序的情况下运行作业时,它不会打印任何内容,甚至不会显示错误。没有应用程序,有没有办法获得这种级别的日志记录?也就是说,不运行[hadoop_folder]/bin/hadoop jar <my_jar> <indexer> <args>...

最佳答案

您可以从Application Master获取此信息(假设您使用YARN而不是MR1,而从Job Tracker获得该信息)。通常,您可以在Web UI中找到此信息。详细信息将取决于您的Hadoop安装/分发。

关于hadoop - 在没有作业的情况下运行作业时获取状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37170566/

相关文章:

hadoop - 使用哪个 : Custom datatype or TwoDArrayWritable

hadoop - Hadoop yarn 资源管理

hadoop - 如何在Java/Scala中将 Parquet 架构转换为Avro

java - hadoop mapreduce IntWritable范围有多长?

hadoop - 加载到Hive分区的Parquet表中时内存不足

hadoop - 当列包含换行符时,Sqoop 合并失败

hadoop - 在 talend 大数据中创建与 hadoop 的连接时出现问题

java - 使Spring-XD和hdfs下沉适用于maprfs

Hadoop YARN 设置身份验证问题

hadoop - 无法在oozie的HDFS中创建sharelib