c# - 等待大量任务

Question

我有一套 Task (很多，大约 400 个):

IEnumerable<Task> tasks = ...

我想同时运行它们，然后等待它们中的每一个。我使用这段代码来运行任务:

Task.Run(async () => { ... });

每个任务都会自己运行异步方法，这就是为什么我需要 async lambda 中的关键字。在这些嵌套任务中，有一个众所周知的HTTP。发送的请求和HTTP收到的回复。

我尝试了两种不同的方式来等待所有任务完成:

await Task.WhenAll(tasks);

和

foreach (var task in tasks)
{
    await task;
}

先验的，我看起来完全一样(但当然它们似乎不是，否则我一开始就不会在这里发布......)。

第一种方法使任务运行得更快，但有大量的 A first chance exception of type 'System.Net.Sockets.SocketException' occurred in System.dll和其他类似的输出窗口。此外，一些任务仍在 WaitingForActivation 中。在调用 await Task.WhenAll() 后声明 .

第二种方式比较慢，看起来任务没有同时运行(我收到了一个接一个的HTTP响应，而等待任务的第一种方式几乎让它们都来了同时)。另外，我看不到 first chance exception当我使用 foreach 时在输出窗口中循环等待每个任务，没有任务有 WaitingForActivation循环后的状态。

我理解等待一组任务的“最佳”方式是使用 WhenAll() (至少为了可读性)但是为什么这两种方法的行为不同？我怎样才能克服这个问题？理想情况下，我希望任务快速运行并确保一切都结束(我在 lambda 中有一个 try catch finally block 来处理服务器错误，我没有忘记 if(httpClient != null) httpClient.Dispose() 在 finally在任何人问之前......)。

欢迎任何提示!

编辑:

好的，我尝试了另一件事。我补充说:

.ContinueWith(x => System.Diagnostics.Debug.WriteLine("#### ENDED = " + index)));

对于每个任务，index是 Task 的编号. 使用 foreach 时循环，我得到:

#### ENDED = 0
#### ENDED = 1
#### ENDED = 2
#### ENDED = 3
#### ENDED = 4
...

使用 WhenAll() 时，我得到:

#### ENDED = 1
#### ENDED = 3
#### ENDED = 0
#### ENDED = 4
#### ENDED = 8
...

所以使用 foreach loop 使我所有的任务同步运行...这也许可以解释为什么我没有得到任何 First Chance Exception在输出窗口中，因为系统根本没有受到算法的压力。

编辑 2:

示例代码:http://pastebin.com/5bMWicD4

它使用此处提供的公共(public)服务:http://timezonedb.com/

Answer 1

这两种尝试是完全不同的。

第一次尝试等待所有任务完成，然后继续。它只会在所有任务完成后抛出。 结果的顺序是不确定的，取决于哪个任务先完成。

第二个等待每个任务一个接一个，按照它们在任务数组中的放置顺序，这当然不是您想要的，而且速度相当慢。即使一个任务失败，它也会异常中止等待。其他任务的结果将丢失。

这并不完全像同步运行任务，因为有些任务会比其他任务更早完成，但您仍然必须一次检查所有任务。

这里你应该注意 Task.WhenAll 本身不会阻塞。它返回一个任务，该任务在所有其他任务完成时完成。通过调用 await Task.WhenAll，您等待该任务完成。您可以检查该任务的状态以查看一个或多个子任务是否失败或被取消，或者通过调用 ContinueWith 来处理结果。

您也可以调用 Task.WaitAll 而不是 await Task.WhenAll 来阻塞直到所有任务完成，或者至少其中一个任务取消或中止。这有点类似于您的第二次尝试，尽管它仍然避免了一个接一个地等待所有任务。

您有很多异常的事实与您等待的方式无关。您一次可以与同一域(即地址)建立多少 HTTP 连接是有限制的，可能会出现超时错误(通常由连接限制引起)或其他网络相关问题。

不过，您收到的异常类型受您是调用 await Task.WhenAll 还是 Task.WaitAll 的影响。 This post explains the issue ，但简而言之，Task.WaitAll 将收集所有异常并抛出 AggregateException，而 await Task.WhenAll 将仅返回其中之一。

顺便问一下，您收到的 SocketException 消息是什么？