我有一个需要大约 600GB 内存的 Go 应用程序。将运行的机器有 128GB 的 RAM。我正在尝试决定如何最好地处理这个问题。
选项是:
只需将所有内容加载到内存中(假设我有 600GB RAM),然后让操作系统将内存中不常访问的部分分页到虚拟内存中。我喜欢这个想法,因为我不需要在代码中做任何特别的事情,操作系统会处理所有事情。但是,我不确定这是个好主意。
将数据存储在磁盘上并使用 mmap(内存映射文件),我猜这与上述类似,但需要更多编码。此外,这似乎意味着数据必须存储为
[]byte
,然后在每次我需要使用它时进行解析,而不是已经以我需要的任何类型进行实际计算。构建一个缓存系统,将数据保存在 HDD 上,然后在需要时加载它,最常访问的数据保存在内存中,当超过内存限制时清除最不频繁访问的数据.
这些有什么优点和缺点?如果可能的话,我更愿意使用 (1),因为它很简单……这有什么问题吗?
最佳答案
这完全取决于数据访问的性质。那600GB的访问会均匀分布吗?如果不是这种情况,那么将部分内容缓存在内存中并将其余内容保存在 HDD 上的解决方案可能就足够了,因为您有足够的 RAM 来缓存超过 20% 的数据。将所有内容都保存在虚拟内存空间中可能会带来令人惊讶的缺点,例如需要一个巨大的交换分区。
要在磁盘上缓存数据,您可以按照 Dave 的建议使用数据库引擎,因为它们通常可以很好地缓存最常访问的内容。您也可以使用 memcached ,用于在内存中缓存内容的库和客户端。
最重要的是,在不知道确切的使用模式的情况下优化性能是很困难的。幸运的是,有了 Go,您不必猜测。您可以测试和测量。
你可以定义一个类似于
的接口(interface)type Index interface{
Lookup(query string) Result
}
然后尝试所有解决方案,从最容易实现的开始。
type inMemoryIndex struct {...}
func (*inMemoryIndex) Lookup(query string) Result {...}
type memcachedIndex struct {...}
type dbIndex struct {...}
然后你可以使用Go's builtin benchmarking tools对您的应用程序进行基准测试,看看它是否符合您的标准。您甚至可以使用真实数据和模拟用户查询对该机器进行基准测试。
您假设 mmap 需要更多编码是正确的,所以我会在尝试所有其他选项之前保存它。
关于caching - Go:处理过多内存申请的最佳方式? mmap,内存还是缓存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29467899/