hadoop - `hadoop jar`将在NameNode或DataNode上执行吗?

标签 hadoop mapreduce

我提交hadoop jar命令以运行不带任何MR代码的简单jar时遇到一个问题,hadoop jar命令是在边缘节点(名称节点还是主节点)上运行jar还是选择数据节点作为类似于Oozie的执行者?还是我需要使用hadoop-streaming jar运行Java jar应用程序?

hadoop jar /home/bin/myjar-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.ImpalaJdbcConnectionTest 

最佳答案

如果您的Java程序未实例化YarnClient,并且该YarnClient并未在YARN中创建Application,则其运行方式就像您只是简单地调用java -jar <your-jar-file>一样,即在执行它的节点上本地调用。

关于hadoop - `hadoop jar`将在NameNode或DataNode上执行吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59834077/

相关文章:

scala - 指定的分区列与表格的分区列不匹配。请使用()作为分区列

java - 如何将Java程序重写为Hadoop作业?

hadoop - Hadoop 总是会在节点之间平均分配工作吗?

hadoop:在伪分布式环境下有多个reducer?

java - 使用 Maven 构建 Hadoop 1.2.1

python - 如何划分 map-reduce 任务?

sql-server - 使用 SQL 中的外部表/Polybase 从外部源(Azure 存储 Blob)中选择数据。表已创建但未返回数据

apache-spark - 如何检查 yarn 日志应用程序 ID

java - Hadoop 映射器输出到 HBase 表和一个缩减器

hadoop - 如何在hadoop中更改mapreduce的输出格式?