map - 配置Hadoop集群时应该设置多少个mapper/reducer？

Question

配置 Hadoop 集群时，为集群设置映射器/缩减器数量的科学方法是什么？

Answer 1

没有公式。这取决于你有多少核心和多少内存。 mapper的个数+reducer的个数一般不要超过core的个数。请记住，该机器还运行着 Task Tracker 和 Data Node 守护进程。一般建议之一是映射器多于缩减器。如果我是你，我会使用合理数量的数据运行我的一项典型工作来尝试一下。