hadoop:四核机器上映射/减少作业的最佳数量

Question

我试图通过谷歌查找，但没有找到好的引用资料

- I have a Quad-core Ubuntu box running a map-reduce job.  
- running default 2 maps and taking lot of time  
- what be a good number of map/reduce job for a machine of such config?  

请多多指教
TIA

Answer 1

似乎是一个经验问题。从 1 开始，然后逐步提高一段时间。绘制一条曲线，看看它的结果如何。我希望您可能会在可用核心数量或可用硬件线程数量(您的机器上可能相同)中找到最佳点。然而，进行实际实验是找出答案的最佳方法。