java - 大内存(数据大小)采集

标签 java data-structures collections bigdata

我经常必须使用 java.util.collection 包中的对象,这些对象符合 Map 和 Set 接口(interface)。

当我将数百万个元组或实体插入这些对象(HashMap、TreeMap 等)时,它们的插入和查找性能都慢得要命。

我设计了派生类,它们本质上是 java.util.collection 中的类的组合,可以更好地扩展性能。

我想知道是否有一个与 java.util.collections 包相当的开源版本,它针对处理大量数据进行了优化。

最佳答案

为了获得更好的性能集合库,请尝试 trove 。但是,一般来说,您希望通过流式传输或其他形式的延迟加载来解决此类问题,这样您就可以执行聚合之类的操作,而无需将整个数据集加载到内存中。

您还可以使用 Redis 或 CouchDB 等键值存储来存储此数据。

关于java - 大内存(数据大小)采集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13214006/

相关文章:

java - 在不使用库的情况下遍历日期范围 - Java

java - Spring:在 Controller 参数上绑定(bind)集合

java - TreeSet是基于key和value的吗?

java - 使用 javaparser 获取方法语句

java - 充分利用Hadoop伪分布式模式下的所有核心

java - 在 BST 中查找比给定值更高的值的数量

c - 优化以下 hackerrank 程序

java - ConcurrentHashMap 操作是线程安全的

Java 泛型类型不匹配

java - 数据结构可以在不使用任何数组的情况下拥有 O(1) 访问时间吗?