我想在 hadoop 框架中的所有拆分之间共享一些数据,更具体地说,我有一个文件,其中包含很多我关心的搜索术语,并写下每个文档中出现的次数,但是问题是如果这个词没有出现在某些拆分中,我需要为这个文件返回 0,但是我无法将我正在搜索的术语传递给拆分中的所有节点的问题,任何人都可以给我一些想法
最佳答案
通常,DistributedCache
是跨节点共享数据的方式。然而,由于它已被弃用,请查看此 answer .
关于Hadoop 计算所有拆分中所需的术语,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20399603/