python - 当两个异步任务访问同一个可等待对象时是否安全?

标签 python python-3.x thread-safety python-asyncio

简单来说,thread-safe是指当多个thread访问同一个资源时是安全的,而且我知道Asyncio使用一个从根本上说是单线程

但是,不止一个 Asyncio Task 可以像 多线程 一样一次多次访问资源。

例如数据库连接(如果对象不是线程安全并且支持Asyncio操作)。

  1. 安排 Task ATask B 访问同一个 DB 对象。
  2. IO 循环执行任务 A
  3. Task A await 对DB对象的IO操作。(需要足够长的时间)
  4. IO Loop 执行任务B
  5. Step3的IO操作还在进行中(未完成)。
  6. Task B await 对同一个 DB 对象的 IO 操作。
  7. 现在 任务 B 试图一次访问同一个对象。

它在 Asyncio 中是否完全安全?如果是,它的安全之处是什么?

最佳答案

从多个任务中使用相同的异步对象通常是安全的。例如,aiohttp 有一个 session 对象,多个任务应该“并行”访问同一个 session 。

if so, what does it make safe?

asyncio 的基本架构允许多个协程await 单个 future 结果——它们将简单地全部订阅 future 的完成,并且一旦结果准备就绪,所有协程都将被安排运行。这不仅适用于协程,也适用于使用 add_done_callback 订阅 future 的同步代码。

这就是 asyncio 处理您的场景的方式:任务 A 和 B 最终将订阅 DB 对象等待的某个 future ,并且。一旦结果可用,它将依次传递给他们双方。

通常与多线程编程相关的陷阱不适用于 asyncio,因为:

  • 与线程不同,上下文切换发生的位置非常容易预测 - 只需查看代码中的 await 语句(以及 async withasync for - 但这些仍然是非常明显的关键字)。就所有意图和目的而言,它们之间的任何内容都是原子的。这消除了使用同步原语来保护对象的需要,也消除了因使用此类工具不当而导致的错误。

  • 所有对数据的访问都发生在运行事件循环的线程中。这消除了数据竞争的可能性,即读取正在同时写入的共享内存。

多任务处理可能失败的一个场景是多个消费者连接到同一个类似流的资源。例如,如果多个任务尝试在同一个 reader 流上等待 reader.read(n),则只有其中一个任务将获得新数据1,其他人将一直等待直到新数据到达。这同样适用于任何共享的流媒体资源,包括文件描述符或由多个对象共享的生成器。即使这样,其中一个任务也能保证获取数据,并且流对象的完整性不会以任何方式受到损害。


1 只有当任务共享读取器并且每个任务单独调用 data = await reader.read(n) 时,一个接收数据的任务才适用。如果要使用 fut = asyncio.ensure_future(reader.read(n)) 提取 future (使用await),在多个任务之间共享 future ,并在每个任务中使用 data = await fut 等待它,所有 任务将被通知特定的数据 block 最终由那个 future 返回。

关于python - 当两个异步任务访问同一个可等待对象时是否安全?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48966277/

相关文章:

Android NDK - 在 native 代码中使用 AssetManager

python - 如何在未知大小的张量上使用 tf.slice

Python 没有读取有效的 JSON

python - 为什么这段代码没有抛出 'not defined' 错误?

python-3.x - 端口 7071 不可用。关闭使用该端口的进程,或使用 --port [-p] 指定另一个端口

linux - IPython 未打开(语法无效)

c++ - 这种线程间对象共享策略合理吗?

python - 如何在 Python 中使用带有条件 while 循环的 Schedule 模块

python-3.x - 没有名为 'urlparse' 的模块,但我没有使用 urlparse

java - java变量本身线程安全吗?什么时候更新变量?