我想同时运行1000多个不同版本的同一算法(不同的参数)，在这种情况下Hadoop是否能够提高性能？
我目前不了解Hadoop，因此这个问题似乎很愚蠢。
我只是想知道Hadoop是否可以为此做些事情，所以我不需要知道如何做。
最佳答案
不，它不能。仅仅是因为它不关心同时运行哪种作业。由于操作系统尝试缓存您的输入，因此您将看到一些性能改进。但是通常框架不会优化这种情况。
Hadoop不是为这类工作而构建的，我非常怀疑您将获得Hadoop良好的性能。
关于concurrency - 当我想同时运行具有1000多个不同参数的相同算法时，Hadoop能做什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13085161/