python - 用于 nginx/uwsgi 服务器的持久内存中 Python 对象

Question

我什至怀疑这是否可能，但这是问题和建议的解决方案(建议的解决方案的可行性是这个问题的对象):


我有一些需要可用于所有请求的“全局数据”。我将这些数据保存到 Riak 并使用 Redis 作为缓存层以提高访问速度(目前...)。数据被分成大约 30 个逻辑 block ，每个大约 8 KB。

每个请求都需要读取其中的 4 个 8KB block ，从而导致从 Redis 或 Riak 中读取 32KB 的数据。这是对任何也需要读取的特定于请求的数据的补充(这是相当多的)。

假设每秒甚至 3000 个请求(这不是实时服务器，所以我没有真实数字，但 3000ps 是一个合理的假设，可能更多)，这意味着 96KBps 从 Redis 或 Riak 传输到从应用程序逻辑发出的已经不重要的其他调用。此外，Python 每秒解析 3000 次这些 8KB 对象的 JSON。


所有这一切——尤其是 Python 必须反复反序列化数据——看起来完全是一种浪费，一个完美优雅的解决方案是将反序列化的数据缓存在 Python 的内存 native 对象中，当所有这些“静态”数据变得陈旧时，我可以定期刷新它。每几分钟(或几小时)一次，而不是每秒 3000 次。

但我不知道这是否可能。实际上，您需要一个“始终运行”的应用程序才能将任何数据缓存在其内存中。而且我知道在 nginx+uwsgi+python 组合中情况并非如此(相对于节点之类的东西)- python 内存中数据不会在所有请求中持久化据我所知，除非我是大错特错。

不幸的是，这是我“继承”的系统，因此无法在基础技术方面进行太多更改，我也不太了解 nginx+uwsgi+python 组合在启动 Python 方面的工作原理处理和持久化 Python 内存数据——这意味着我可能会严重误解我上面的假设!


因此，关于此解决方案是否可行的直接建议 + 引用 Material 可以帮助我理解 nginx+uwsgi+python 在启动新进程和内存分配方面的工作方式，这将大有帮助。

附言:

1. 已经浏览了 nginx、uwsgi 等的一些文档，但还没有完全理解每个用例的后果。希望现在能在这方面取得一些进展

2. 如果内存中的东西可以解决，我会放弃 Redis，因为我只缓存上面提到的静态数据。这使得进程内持久内存中 Python 缓存对我来说更具吸引力，它减少了系统中的一个移动部件，并且每个请求至少有四次网络往返。

Answer 1

您的建议并不直接可行。由于新进程可以在您的控制之外上下旋转，因此无法将 native Python 数据保存在内存中。

但是，有几种方法可以解决这个问题。

通常，您只需要一层键值存储。有时，为值设置固定大小的缓冲区(你可以直接将其用作 str/bytes/bytearray 对象；你需要的任何其他东西 struct 在那里或以其他方式序列化)就是你所需要的。在这种情况下，uWSGI 的内置 caching framework将照顾您需要的一切。

如果需要更精确的控制，可以看看缓存是如何在 SharedArea 之上实现的并做一些定制。但是，我不建议这样做。它基本上为您提供了与文件相同类型的 API，与仅使用文件相比，唯一真正的优势是服务器将管理文件的生命周期；它适用于所有 uWSGI 支持的语言，甚至那些不允许文件的语言；如果以后需要，它可以更轻松地将自定义缓存迁移到分布式(多计算机)缓存。我认为这些都与您无关。

另一种获得平面键值存储但没有固定大小缓冲区的方法是使用 Python 的标准库 anydbm .键值查找就像它得到的一样 pythonic:它看起来就像 dict ，除了它被备份到磁盘上的 BDB(或类似的)数据库中，适本地缓存在内存中，而不是存储在内存中的哈希表中。

如果您需要处理其他一些简单的类型——任何可以非常快速地取消/pickle 的类型，比如 int s—你可能想考虑 shelve .

如果您的结构足够严格，您可以在顶层使用键值数据库，但通过 ctypes.Structure 访问值，或使用 struct 反/序列化.但通常情况下，如果你能做到这一点，你也可以消除顶级，到那时你的整个事情就只是一个大Structure或 Array .

那时，您可以只使用普通文件进行存储——mmap它(对于 ctypes )，或者只是 open和 read它(对于 struct )。

或使用 multiprocessing的 Shared ctypes Objects访问您的 Structure直接从共享内存区域中取出。

与此同时，如果您实际上并不总是需要所有缓存数据，只是偶尔需要一些零碎的数据，这正是数据库的用途。同样，anydbm等可能是您所需要的全部，但如果您的结构很复杂，请绘制一个 ER 图，将其转换为一组表，然后使用 MySQL 之类的东西。