对于A hadoop作为存储系统,我有2个问题。
在这种情况下,这就是如何控制将拆分拆分到哪个DataNode的方法。我的意思是说我们有3个数据节点(即D1,D2,D3),我们想要特定的分割(让我们说“A”),希望它移至特定的数据节点,使其成为D2。
我们应该怎么做 ?
最佳答案
1)您无法控制数据块的放置位置
2)尽可能的小(虽然可能应该是1024字节的倍数,但是我不认为这有实际限制),但是在现代硬件上,任何小于64/128 MB的都是低效率的(您可以指定如果您在MR作业中执行CPU密集型操作,则处理拆分的大小会减小)
关于hadoop - Hadoop数据分割和数据流控制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11941002/