如何在 Hadoop mapreduce 中处理负载平衡?我正在编写一个分布式应用程序,其中服务器根据基准测试、可用内存、CPU 内核数、CPU 使用率、可用 GPU 数/使用情况将作业分配给工作节点?我对 mapreduce 不是很有经验,并且已经阅读了 apache 网站上的一些文档,但我仍然不确定如何着手解决这个问题。我可以进行基准计算并获取所有这些信息,然后通过算法动态拆分输入吗?
谢谢!
最佳答案
“MapReduce 是一种用于处理和生成大型数据集的编程模型和相关实现”摘自 MapReduce 论文摘要。
正如您在评论中所说,您的项目似乎不是数据密集型而是计算密集型,因此我认为 MapReduce 不是您需要使用的工具。
关于java - 如何在 Hadoop mapreduce 中处理负载平衡?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15289226/