c++ - 超过 32705 个线程时 boost::thread_resource_error

标签 c++ linux multithreading boost-thread

我正在实现消息传递算法。消息通过图的节点传播,阻塞直到它们收到足够的信息(来自其他邻居)来发送消息。

如果我将每条消息放在自己的线程中并使用 boost::condition 暂停线程,直到所有必需的信息都可用,则该算法很容易编写。我创建了数千个线程,但大多数时候只有少数几个线程处于事件状态。这似乎工作得很好。

我的问题是,在进行单元测试时,我发现如果我创建超过 32705 个线程,我会得到

unknown location(0): fatal error in "Tree_test": std::exception: boost::thread_resource_error

我不知道是什么原因造成的,也不知道如何解决。

似乎有足够的可用内存(每个线程只持有两个指针 - 消息在其间传递的对象)。

来自这个问题:Maximum number of threads per process in Linux?我认为以下信息是相关的(虽然我真的不知道其中任何一个是什么意思......)

~> cat /proc/sys/kernel/threads-max
1000000

(我从 60120 增加了这个 - 我需要重新启动吗?)

 ~>ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 20
file size               (blocks, -f) unlimited
pending signals                 (-i) 16382
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

我试着摆弄挂起的信号(我的限制非常接近 2* 这个数字) 和堆栈大小 ulimit -S -i 8191 -(我无法增加它)但这些更改似乎根本没有效果)

如果有帮助,我正在使用 64 位 Ubuntu-10-10...

最佳答案

我认为在系统上有 32K 线程的情况下,除了如何拥有更多线程之外,您还应该考虑其他可能的解决方案。例如,一个线程池(Boost 对此有一些东西)。

无论如何,在您的系统上,PID 不是限制为 32768 或类似的值吗?你迟早会用完,我认为不妨设计系统以允许处理比最大线程数更多的项目。

就是说,查看/proc/sys/kernel/pid_max 以查看您的最大 PID——并尝试增加它。这可能会使您超过 32K(但也可能导致非针对异常大的 PID 设计的程序出现意外行为,所以要小心)。

然后您可能会受到堆栈空间(相对于虚拟内存空间)的限制。如果愿意,您可以尝试创建具有较小堆栈的线程。

关于c++ - 超过 32705 个线程时 boost::thread_resource_error,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5751737/

相关文章:

Java - 如何在等待数据的进程上实现线程

c++ - 标识特殊方法的编译器/解释器阶段的名称?

c++ - 总是在删除之前释放一个 QSemaphore?

c++ - Valgrind: "Invalid write of size 1"在 char[] 到 std::vector<char> 迁移之后

c++ - 使用 std::chrono 将 32 位 unix 时间戳转换为 std::string

linux - 不能硬链接(hard link) gitconfig 文件

java - 如何在Java中命名线程池的线程

java - android服务中的onResume

c++ - 串口卡在wait(4,

java - 用于编译 Java 代码的库的符号链接(symbolic link)