我最近在思考以下场景:假设你有一个巨大的数据库，你想在加载其中的一部分的同时执行一些计算。可能是这种情况，即使是该数据库的一小部分也可能无法放入非常有限的 Java 堆内存中。人们如何着手解决这些障碍？ Google 如何在内存空间有限的情况下对 TB 级数据进行分析？
预先感谢您的回复。
最佳答案
简短的回答是，您需要以适合内存的 block 的形式处理数据，然后将这些分块计算的结果组装成最终答案(可能分多个阶段)。一个常见的分布式范例是 Map Reduce:参见 here有关 Google 原始实现的详细信息，以及 Hadoop用于开源实现。
关于Java - 解决大于内存限制的问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11192681/