我是 Hadoop 新手,听说分布式缓存大小最大为 10GB。这个对吗?如果我的大小超过 10 GB 怎么办,有没有更好的解决方案?
最佳答案
默认情况下,缓存大小为 10GB。如果您想要更多内存,请在 mapred-site.xml
中配置 local.cache.size
以获得更大的值。
不这样做的原因:最好在分布式缓存中保留几 MB 的数据。否则会影响您的应用程序的性能。
关于caching - Hadoop 分布式缓存大小的限制是多少?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23534441/