我经常必须使用 java.util.collection 包中的对象,这些对象符合 Map 和 Set 接口(interface)。
当我将数百万个元组或实体插入这些对象(HashMap、TreeMap 等)时,它们的插入和查找性能都慢得要命。
我设计了派生类,它们本质上是 java.util.collection 中的类的组合,可以更好地扩展性能。
我想知道是否有一个与 java.util.collections 包相当的开源版本,它针对处理大量数据进行了优化。
最佳答案
为了获得更好的性能集合库,请尝试 trove 。但是,一般来说,您希望通过流式传输或其他形式的延迟加载来解决此类问题,这样您就可以执行聚合之类的操作,而无需将整个数据集加载到内存中。
您还可以使用 Redis 或 CouchDB 等键值存储来存储此数据。
关于java - 大内存(数据大小)采集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13214006/