在 Map Reduce 程序中，单个映射器可以发出的键值对数量是否有上限？
我对 Hadoop 1.x 和 2.x 都很感兴趣。我用谷歌搜索了它，但找不到任何答案，也根本找不到任何提及。
谢谢
最佳答案
单个映射器发出的键值对数量没有限制。
映射器不断生成写入缓冲区的输出。此缓冲区的大小由配置决定 mapreduce.task.io.sort.mb [默认值:256MB(CDH), 100MB(Source Code)]。
每当此缓冲区占用率达到容量的 mapreduce.map.sort.spill.percent [Def: 0.8] 时，缓冲区内容就会溢出(非阻塞过程)到本地磁盘 - 溢出文件。
关于hadoop - 映射器发出的键值对的数量是否有限制？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40106294/