我有一个 Hadoop 集群,不同的进程可以向这个集群提交 mapreduce 作业(它们都使用相同的用户帐户)。
有没有办法区分这些工作?某种描述,可以在提交期间添加到作业中,例如“这是进程“1234”的作业,请勿触摸”?
我正在使用 Python 和 HadoopStreaming,并希望使用简单的 hadoop job -list
(或至少使用 Web 管理界面)来区分作业。
最佳答案
是的,您可以使用 job.setJobName(String)
为每个作业指定一个名称。
如果您要将作业名称设置为有区别的名称,您应该能够将它们区分开来。
例如,通过使用类似ManagementFactory.getRuntimeMXBean().getName()
的方法,您可以在1234@localhost
的格式,其中 1234
是进程 ID,您可以将其设置为作业名称以区分它们。
关于python - Hadoop作业的描述,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15003202/