当你调用/etc/bin/hadoop jar myjar.jar myclass args 时
map reduce 作业是否同步运行?换句话说,调用是否仅在所有节点上的所有 map reduce 作业完成后才返回?
这在分派(dispatch)了一个 nutch 作业的情况下尤其重要。我想知道在命令返回时站点抓取是否已经完成。
最佳答案
是的,这是一个同步调用,因为对于最终结果,您必须等到所有节点的作业完成。事实上,我想说这也取决于你是如何编写作业的,即你可以添加一些代码行来在终端上打印你当前的抓取状态,通过它你将获得抓取的实时状态更新。 但是要查看抓取的最终输出,您必须等到作业完成。
关于hadoop -/etc/bin/hadoop 是同步调用吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27596653/