java - 在单节点群集上使用分布式缓存和FileReader

标签 java hadoop mapreduce

是否需要具有多个节点群集或单个节点群集足以使用分布式缓存。
FileReader可以通过提供文件路径直接打开HDFS中存储的文件。

最佳答案

实际上这不是必须的。使用分布式缓存的主要目的是使资源可用于群集中所有节点上运行的所有映射器或化简器,而在一台计算机上没有多大意义。在单节点hadoop群集上,您可以在mapreduce代码中仅包含一个全局变量,这可以解决问题。

关于java - 在单节点群集上使用分布式缓存和FileReader,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15548365/

相关文章:

java - 验证用户名的正则表达式

java - 为什么在本地 Maven 仓库上安装时分类器会从 Artifact 中删除?

正则表达式语句,以适应日志文件中可能包含空白值或数值的字段

java - 使用 MapReduce 将 CSV 文件加载到 Hbase 表中

hadoop - 如何正确使用 couchdb 链接 mapreduce 函数或正确分组

hadoop - 如何以mapReduce方式建立Lucene索引?

java - Oracle.jdbc.driver.OracleDriver() 不存在错误

java - 需要在多线程环境中实现 ArrayList 的傻瓜式同步

git - 使用git checkout 特定的Hadoop版本

hadoop - 使用HBaseStorage()在Apache Pig中获取一条记录的所有版本