dictionary - 用于大型整数值列表的键值存储

Question

我的应用程序需要一个键值存储。以下是有关键值的一些详细信息:

1)  Number of keys (data type: string) can either be 256, 1024 or 4096.
2)  Data type of values against each key is a list of integers.
3)  The list of integers (value) against each key can vary in size
4)  The largest size of the value can be around 10,000,000 integers
5)  Some keys might contain very small list of integers

应用程序需要根据指定键快速访问整数列表。然而，这个步骤在应用程序的工作中并不频繁。

我需要为我的案例提供最佳键值存储的建议。我需要根据键快速检索值，值大小可能约为 512 MB 或更多。

我检查了 Redis，但它需要存储在内存中。但是，在给定的场景中，我认为我应该寻找基于磁盘的键值存储。

Answer 1

LevelDB 可以非常适合您的用例，因为您的 key 数量有限(如果您有足够的磁盘空间来满足您的要求)，并且可能不需要分布式解决方案。

您需要指定的一件事是您是否希望(以及如何)在数据库中修改一次列表，因为 levelDB 和许多其他通用键值存储没有这样的原子事务。

如果您正在寻找分布式数据库，cassandra 是不错的选择，因为它还可以让您插入/删除单个列表元素。