python - Django/WSGI 应用程序中的持久数据库连接

标签 python django database-connection

我想在 django 驱动的 Web 应用程序中保持与第三方遗留数据库的持久连接。

user--inet--webserver--persistent-db-connection

我想保持网络应用和旧数据库之间的连接打开,因为对于这个特殊的数据库来说,创建新连接非常慢。

这与通常的连接池不同,因为我需要存储每个 Web 用户的连接。用户“Foo”需要在 Web 服务器和旧版数据库之间建立自己的连接。

到目前为止,我使用 Apache 和 wsgi,但如果其他解决方案更合适,我可以更改。

到目前为止,我使用 django。在这里我也可以改变。但是痛苦会更大,因为已经有很多代码需要再次集成。

到目前为止,我使用 Python。我想 Node.js 更适合这里,但改变的痛苦太高了。

当然需要某种超时。如果 N 分钟内没有来自用户“Foo”的 http-request,则需要关闭持久连接。

如何解决?

更新

我称之为DB,但它不是通过settings.DATABASES 配置的DB。这是一个奇怪的、遗留的、不广泛传播的类似 DB 的系统,我需要集成。

如果此时我有 50 个人在线使用 Web 应用程序,那么我需要有 50 个持久连接。每个用户一个。

连接数据库的代码

我可以在每个请求中执行这一行:

strangedb_connection = strangedb.connect(request.user.username)

但是这个操作很慢。使用连接速度很快。

当然 strangedb_connection 不能被序列化并且不能存储在 session 中:-)

最佳答案

管理连接的工作守护进程

您的图片目前看起来像:

user  ----------->  webserver  <--------[1]-->  3rd party DB

connection [1] is expensive.

你可以解决这个问题:

user ---->  webserver  <--->  task queue[1]  <--->  worker daemon  <--[2]-> 3rd party DB

[1] task queue can be redis, celery or rabbitmq.
[2] worker daemon keeps connection open.

工作守护进程会连接到第 3 方数据库并保持连接打开。这意味着每个请求都不必支付连接费用。任务队列将是进程间通信,将工作分派(dispatch)给守护进程并在第 3 方数据库中执行查询。网络服务器在处理方面应尽可能轻,并让工作人员完成昂贵的任务。

使用 apache + modwsgi 预加载

您实际上可以 preload 并在第一次请求之前完成昂贵的连接。这是通过 WSGIImportScript configuration directive 完成的。 .我不记得有预加载+ fork 配置是否意味着每个请求都已经打开连接并共享它;但由于您拥有大部分代码,这可能是一个简单的实验。

使用 uwsgi 预加载

uwsgi 也支持预加载。这是通过 the import directive 完成的。 .

关于python - Django/WSGI 应用程序中的持久数据库连接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34172964/

相关文章:

python - Pyspark - 具有重置条件的累积和

python - 如何以比应用程序更高的粒度在 Django 中对单元测试进行分组?

python - 如何使用 Django-Rest-Framework 返回单个对象

java - 尝试使用 Intellij 连接到在线数据库

mysql - rails + database.yml 中的最大连接池大小

python - ModelForm 保存带有空字段的模型数据

python - pandas-resetting cumsum 在一个特定的数字

python - 车辆路径问题如何用or-tools只让部分团回车场?

c# - 从 c# 连接到 mysql 给我空异常

python - sse 连接过多导致网页挂起