java - Hadoop : Code shipped from master to slave

标签 java cloud hadoop mapreduce

我启动了一个 hadoop 集群并向 master 提交了一个作业。 jar 文件仅包含在 master 中。 hadoop 是否会在作业开始时将 jar 运送到所有从机?从机是否有可能使用上次运行期间发布的先前版本的代码运行?

谢谢
巴拉

最佳答案

来自 mapreduce 教程:

The framework will copy the necessary files to the slave node before any tasks for the job are executed on that node. Its efficiency stems from the fact that the files are only copied once per job and the ability to cache archives which are un-archived on the slaves.

更多信息在这里:

http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

关于java - Hadoop : Code shipped from master to slave,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2822868/

相关文章:

java - 从哪里获取我的小程序的可信证书?

java - 编译器忽略的泛型类型

java - Selenium webdriver 找不到我的按钮

java - 如何使用java模拟云环境

python - 在 ibm-cloud 部署上找不到 xmlsec1

hadoop - 槽不适用于hdfs

java - 如何附加 VisualVM 并在应用程序启动时立即开始分析?

cloud - 我们如何部署 Pharo 海边 Web 应用程序?

hadoop - YARN-Cgroups : Failed to initialize container executor in non-secure cluster

hadoop - CHD 5.4.0 Map和Reduce的问题