c++ - 无堆栈协程与有堆栈协程有何不同？

Question

背景:

我问这个是因为我目前有一个包含许多(成百上千)线程的应用程序。大多数这些线程大部分时间都处于空闲状态，等待将工作项放入队列中。当一个工作项可用时，它会通过调用一些任意复杂的现有代码来处理。在某些操作系统配置中，应用程序会遇到控制最大用户进程数的内核参数，因此我想尝试减少工作线程数量的方法。

我提出的解决方案:

这似乎是一种基于协程的方法，我用协程替换每个工作线程，这将有助于实现这一目标。然后，我可以拥有一个由实际(内核)工作线程池支持的工作队列。当一个项目被放置在特定协程的队列中进行处理时，一个条目将被放置到线程池的队列中。然后它将恢复相应的协程，处理其排队的数据，然后再次挂起，释放工作线程来做其他工作。

实现细节:

在考虑如何做到这一点时，我很难理解无堆栈协程和有堆栈协程之间的功能差异。我有一些使用 Boost.Coroutine 的堆栈协程的经验。图书馆。我发现从概念层面理解起来相对容易:对于每个协程，它维护一份 CPU 上下文和堆栈的拷贝，​​当您切换到协程时，它会切换到保存的上下文(就像内核模式调度程序一样)。

我不太清楚的是无堆栈协程与此有何不同。在我的应用程序中，与上述工作项排队相关的开销非常重要。我见过的大多数实现，比如 the new CO2 library建议无堆栈协程提供低得多的开销上下文切换。

因此，我想更清楚地了解无堆栈和堆栈式协程之间的功能差异。具体来说，我想到了这些问题:

• References like this one建议区别在于您可以在堆栈与无堆栈协程中产生/恢复的位置。是这样吗？有没有一个简单的例子说明我可以在堆栈式协程中但不能在无堆栈式协程中做某事？

• 自动存储变量(即“堆栈上”的变量)的使用是否有任何限制？

• 我可以从无堆栈协程调用哪些函数有任何限制吗？

• 如果没有为无堆栈协程保存堆栈上下文，那么协程运行时自动存储变量到哪里去？

Answer 1

首先，感谢您查看 CO2 :)

Boost.Coroutine doc很好地描述了堆栈式协程的优势:

stackfulness

In contrast to a stackless coroutine a stackful coroutine can be suspended from within a nested stackframe. Execution resumes at exactly the same point in the code where it was suspended before. With a stackless coroutine, only the top-level routine may be suspended. Any routine called by that top-level routine may not itself suspend. This prohibits providing suspend/resume operations in routines within a general-purpose library.

first-class continuation

A first-class continuation can be passed as an argument, returned by a function and stored in a data structure to be used later. In some implementations (for instance C# yield) the continuation can not be directly accessed or directly manipulated.

Without stackfulness and first-class semantics, some useful execution control flows cannot be supported (for instance cooperative multitasking or checkpointing).

这对你意味着什么？例如，假设您有一个接收访问者的函数:

template<class Visitor>
void f(Visitor& v);

你想把它转成迭代器，用stackful coroutine，你可以:

asymmetric_coroutine<T>::pull_type pull_from([](asymmetric_coroutine<T>::push_type& yield)
{
    f(yield);
});

但是对于无堆栈协程，没有办法这样做:

generator<T> pull_from()
{
    // yield can only be used here, cannot pass to f
    f(???);
}

一般来说，有栈协程比无栈协程更强大。 那么为什么我们需要无堆栈协程呢？简短的回答:效率。

堆栈式协程通常需要分配一定数量的内存来容纳它的运行时堆栈(必须足够大)，并且与无堆栈的相比，上下文切换更昂贵，例如在我的机器上，Boost.Coroutine 需要 40 个周期，而 CO2 平均只需要 7 个周期，因为无堆栈协程唯一需要恢复的就是程序计数器。

也就是说，在语言支持的情况下，只要协程中没有递归，stackful coroutine 也可以利用编译器计算的 max-size 堆栈，因此也可以提高内存使用率。

说到无堆栈协程，请记住，这并不意味着根本没有运行时堆栈，只是意味着它使用与主机端相同的运行时堆栈，因此您也可以调用递归函数，只是所有的递归都将发生在主机的运行时堆栈上。相比之下，使用堆栈式协程，当您调用递归函数时，递归将发生在协程自己的堆栈上。

回答问题:

• 自动存储变量的使用有什么限制吗 (即“在堆栈上”的变量)？

没有。这是CO2的仿真限制。在语言支持下，自动存储变量对协程可见将被放置在协程的内部存储中。请注意我对“协程可见”的强调，如果协程调用内部使用自动存储变量的函数，那么这些变量将被放置在运行时堆栈中。更具体地说，无堆栈协程只需要保留恢复后可以使用的变量/临时变量。

明确一点，你也可以在 CO2 的协程体中使用自动存储变量:

auto f() CO2_RET(co2::task<>, ())
{
    int a = 1; // not ok
    CO2_AWAIT(co2::suspend_always{});
    {
        int b = 2; // ok
        doSomething(b);
    }
    CO2_AWAIT(co2::suspend_always{});
    int c = 3; // ok
    doSomething(c);
} CO2_END

只要定义不在任何await之前。

• 我可以从 无堆栈协程？

没有。

• 如果没有为无堆栈协程保存堆栈上下文， 当协程运行时，自动存储变量在哪里 运行吗？

如上所述，无堆栈协程不关心被调用函数中使用的自动存储变量，它们只会放在正常的运行时堆栈上。

如果您有任何疑问，只需查看 CO2 的源代码，它可能会帮助您了解引擎盖下的机制；)