hadoop - Hadoop的自定义调度程序

标签 hadoop

我想在Hadoop中创建现有公平/容量调度程序的副本,然后进行一些更改。有人知道吗?请帮忙。
我下载了hadoop-2.6.0-src源代码,并在以下路径中看到了FairScheduler.java源:

\hadoop-2.6.0-src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-server\hadoop-yarn-server-resourcemanager\src\main\java\org\apache\hadoop\yarn\server\resourcemanager\scheduler\fair

但是,猜想有很多相关的类文件。我是否必须全部复制,重命名并创建一个新项目?请帮助,因为我不是Java专家。

最佳答案

Manisha,您可以尝试扩展已经存在的FairScheduler类,创建一个MyFairScheduler并添加在所需方法中谈论的那些更改。然后,可以构建新类并将其打包到一个jar文件中,该文件必须放入类路径中才能使用。

关于hadoop - Hadoop的自定义调度程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29271758/

相关文章:

hadoop - 将数据发送到Gmond时,Ganglia欺骗不起作用

java - 如何通过 Maven 在 Intellij 中导入 hadoop.hbase.mapreduce?

java - 足够用于Hadoop的Java

java - 在 Java 中尝试从 HDFS 读取文件时出现 "Wrong FS... expected: file:///"

hadoop - 细粒度转换与粗粒度转换

hadoop - 使用 mapreduce 找到两个总和为 45 的数字

java - 使用库在Eclipse中运行Pig时零件文件为空

process - Hadoop RPC服务器不会停止

linux - 异常(exception)如下。 org.apache.flume.FlumeException : Unable to load source type in flume twitter analysis 异常

apache-spark - 当Kafka客户端异步发送消息时,Spark流任务正常关闭