caching - Hadoop 分布式缓存大小的限制是多少?

标签 caching hadoop

我是 Hadoop 新手,听说分布式缓存大小最大为 10GB。这个对吗?如果我的大小超过 10 GB 怎么办,有没有更好的解决方案?

最佳答案

默认情况下,缓存大小为 10GB。如果您想要更多内存,请在 mapred-site.xml 中配置 local.cache.size 以获得更大的值。

不这样做的原因:最好在分布式缓存中保留几 MB 的数据。否则会影响您的应用程序的性能。

关于caching - Hadoop 分布式缓存大小的限制是多少?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23534441/

相关文章:

django - 在 Django 中对抗客户端缓存

ios - 当我尝试为 CIContext 设置选项时,类型 'String' 没有成员 'cacheIntermediates' 错误

hadoop - Pig 集成Cassandra : simple distributed query takes a few minutes to complete. 这正常吗?

java - Scala:在类中找不到主要方法

Hadoop 数据节点 block 存储信息

apache - 如何验证 Apache 缓存是否正常工作?

java - 还有什么可以在java中抛出ClassCastException?

Java类装饰自己

sql - 如何从 Hive 中的 json 字符串中提取选定的值

hadoop - 重新索引爬取的数据 Solr 5.4.1