Python 解释器将异步操作的控制权交还给 C 调用者

标签 python c python-3.x python-asyncio

这是一个网络守护进程,其中每个传入请求都通过一个解释器运行,并具有一个轻量级的请求特定堆栈。解释器允许请求在等待阻塞 I/O 操作时让出控制权。通过这种方式,请求的运行方式与其他语言中的协程非常相似。单个 POSIX 线程可能有数千个处于屈服或可运行状态的请求,但只有一个请求主动取得进展。

使用 Lua 等其他嵌入式语言,可以将控制权交还给 C 调用者。这就是 NGINX 使用 Lua 作为其嵌入式脚本语言的原因之一。

我想知道当 python 线程等待异步满足条件时,是否有一种方法可以使用 Python 实现类似的功能。

我认为 Python 向 C 调用方公开异步条件的详细信息,并让 C 调用方在满足条件时通知 Python 解释器是不现实的。但即使 Python 返回的控制没有有关异步条件的信息,它也可能允许 C 调用者将多个 Python 线程状态用作绿色线程。

这个想法是将线程状态附加到每个请求,并让 python 解释器在特定线程和请求可运行时通知 C 调用者。最明显(但可能最糟糕/最幼稚)的方法是 C 调用者轮询 Python 解释器,允许 Python 检查是否满足任何异步条件,并返回可运行线程状态的列表。然后,C 调用方将交换到可运行线程状态,并调用 Python 解释器继续执行。

如果您对此有任何想法,我将不胜感激。即使知道 Python 协程是否可以屈服于 C 调用方,并让 C 调用方恢复协程也会很有用。

编辑

建议在单独的进程中运行 Python 并通过管道或网络套接字向其发送请求是没有意义的。这就是作弊。

编辑2

看起来其他人在 Emscripten 和 Python 之间实现了与我建议的类似机制。

https://github.com/emscripten-core/emscripten/issues/9279

最佳答案

一种潜在的解决方案是使用 asyncio 的 run_coroutine_threadsafe() 函数。

对于每个应用程序线程,都有一个影子 Python 解释器线程。这些是共享解释器的单独操作系统线程,但具有单独的 PyThreadState

在Python线程中,您创建一个新的事件循环,将对循环对象的引用写入共享变量,并在安装适当的机制后调用loop.run_forever()来停止事件循环。优雅地循环。

在应用程序线程中,您将模块调用包装到要在协程中运行的 Python 脚本,并使用 asyncio.run_coroutine_threadsafe() 将它们提交到 Python 解释器线程(使用来自共享变量)。应用程序线程向通过 add_done_callback 接收的 Future 添加回调。 然后应用程序请求被放弃,这意味着它的执行被挂起,应用程序线程可以处理新的应用程序请求。

add_done_callback 回调调用一个应用程序 C 函数,该函数向应用程序线程发出信号,表明特定应用程序请求的处理已完成。然后,应用程序请求被放回到应用程序的可运行队列中,以便继续执行。

在我有了完整、完善的解决方案,并且我已经完全测试了有问题的线程不安全方面后,我将更新答案。但就目前而言,这似乎确实是一个可行的解决方案。

关于Python 解释器将异步操作的控制权交还给 C 调用者,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57932347/

相关文章:

android - Eclipse无法读取RenderScript .rs文件的代码格式

python - tensorflow : result of training data(using sigmoid) came out reversely

python 元组列表排序

python - 合并元组中的元素?

python - python 中的文字角色扮演游戏

python - 在 python 中读取大文本文件会随着迭代变慢

c++ - 为什么编译器在编译时不知道局部变量的地址?

c - 通过 malloc-heap(Concatenate string) 分配内存

python 3 urllib 和 http.client - 无法打开调试消息

python - 在 CentOS 7.2 上为 PostgreSQL 9.5 安装 plpython3u