hadoop - 在hadoop中,我只想在每个节点上执行自己自定义的程序

标签 hadoop mapreduce distributed-computing

是的,我想在每个 hadoop 节点上运行我的自定义程序。 我想部署 No mapper 和 reducer。 它就像分布式计算系统,不像 mapreduce 那样工作(但在内部使用 hdfs)。 我该怎么办?

最佳答案

MapReduce 和 Tez 作业都使用 YARN(Yet Another Resource Negotiator)在所谓的容器中在集群上分布和执行。您也可以自己使用 YARN 来运行您自己的作业。请看Hadoop Architecture Overview以获得高级概述。

关于hadoop - 在hadoop中,我只想在每个节点上执行自己自定义的程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39460414/

相关文章:

hadoop - 从 map 函数 hadoop 写入文本输出

linux - hadoop 用户应该在 sudoers 文件中吗?

hadoop - 无法使用 start-dfs.sh 启动守护进程

matlab - 如何将Matlab与hadoop集成

sockets - 心跳协议(protocol)/算法或最佳实践

distributed-computing - 在 Paxos 中提交失败

hadoop - 如何在ElasticSearch-Spark中获取实体索引

java - 在MapReduce中解析XML文件

java - 自定义 SortComparator 在 MapReduce wordcount 程序中不起作用

hadoop - MRjob文档中的“The location specified by MRJOB_CONF”