hadoop - 为什么我们不能在 Hadoop 中计算作业执行时间?

标签 hadoop mapreduce job-scheduling

我的问题与散兵游勇问题有关。在排序上,它是一种算法,我们可以知道它的复杂性,并计算在一组常量数据上执行时的运行时间。

为什么我们无法在Hadoop 中获取作业执行时间?

如果我们能够获取作业执行时间或任务执行时间,我们就可以快速知道哪些是散乱的任务,而不需要算法来知道哪个任务是散乱的。

最佳答案

作业执行时间或任务执行时间将在作业跟踪器 web UI 中可用。希望这就是您要查找的内容。Web UI 将在作业跟踪器的 50030 端口可用。如果它是基于 Yarn设置 url 为 http://:8088

关于hadoop - 为什么我们不能在 Hadoop 中计算作业执行时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26876261/

相关文章:

hadoop - 如何从文本文件转换为序列文件?

hadoop - 在 MapReduce Hadoop 中排序

c - AVR8 实时调度器,串行通信

spring - 如何获取Spring调度下一次运行时间?

bash - 启动独立的作业步骤并跟踪最高退出代码

hadoop - PIG 脚本根据指定的单词将大文本文件拆分成多个部分

hadoop - 在 Hive 脚本中设置 mapred.child.java.opts 会导致 MR 作业立即获得 'killed'

hadoop - 我将如何制作一个只返回条目超过一定长度的字段的 pig 脚本?

hadoop - 无法连接到 oozie 服务器(错误代码 : 500)

image-processing - 对图像(或BLOB)使用CombineFileInputFormat吗?