optimization - 有哪些工具可以对Hadoop例程的Cascading进行基准测试？

Question

我得到了一个多步骤级联程序，该程序所运行的时间大约是等效M / R作业运行时间的十倍。我该如何找出哪些步骤运行最慢，因此可以将其作为优化目标？

Answer 1

我认为这不是一个完整的答案，但足以让您入门。您需要为您的工作生成MapReduce工作流程的图形表示。有关示例，请参见此页面:http://www.cascading.org/multitool/。该图应有助于尝试找出瓶颈所在。