c# - 异步循环不再有可用的 HttpContext

Question

我有一个要求，是处理 X 个文件，通常我们每天可以收到大约 100 个文件，是一个 zip 文件，所以我必须打开它，创建一个流，然后将其发送到 WebApi 服务，这是一个工作流程，此工作流程又调用了两个 WebApi 步骤。

我实现了一个控制台应用程序，它循环遍历文件，然后调用一个包装器，该包装器使用 HttpWebRequest.GetResponse() 进行 REST 调用。

我强调测试了该解决方案并创建了 11K 文件，在同步版本中处理所有文件大约需要 17 分钟，但我想创建它的异步版本并能够使用等待 HttpWebRequest.GetResponseAsync() .

这是异步版本:

private async Task<KeyValuePair<HttpStatusCode, string>> REST_CallAsync(
        string httpMethod,
        string url,
        string contentType,
        object bodyMessage = null,
        Dictionary<string, object> headerParameters = null,
        object[] queryStringParamaters = null,
        string requestData = "")
    {
        try
        {
            HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("some url");
            req.Method = "POST";
            req.ContentType = contentType;

                //Adding zip stream to body
                var reqBodyBytes = ReadFully((Stream)bodyMessage);
                req.ContentLength = reqBodyBytes.Length;
                Stream reqStream = req.GetRequestStream();
                reqStream.Write(reqBodyBytes, 0, reqBodyBytes.Length);
                reqStream.Close();                
            //Async call
            var resp = await req.GetResponseAsync();
            var httpResponse = (HttpWebResponse)resp as HttpWebResponse;
            var responseData = new StreamReader(resp.GetResponseStream()).ReadToEnd();                
            return new KeyValuePair<HttpStatusCode,string>(httpResponse.StatusCode, responseData);
        }
        catch (WebException webEx)
        {
        //something
        }
        catch (Exception ex)
        {
        //something
        }

在我的控制台应用程序中，我有一个循环来打开并调用异步(CallServiceAsync 在幕后调用上面的方法)

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            await _restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true);
                                        }
                                        processId++;
                                    }
                                }

最终发生的情况是，11K 中只有 2K 得到处理，并且没有抛出任何异常，所以我一无所知，所以我更改了调用异步的版本:

foreach (var zipFile in Directory.EnumerateFiles(directory))
                                {      
                                        using (var zipStream = System.IO.File.OpenRead(zipFile))
                                        {
                                            tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(
                                            zipStream,
                                            headerParameters,
                                            null,
                                            true));
                                        }
                                    }
                                }

并有另一个循环来等待任务:

foreach (var task in await System.Threading.Tasks.Task.WhenAll(tasks))
                {
                    if (task.Value != null)
                    {
                        Console.WriteLine("Ending Process");
                    }
                }

现在我面临着一个不同的错误，当我处理三个文件时，第三个文件收到:

由于底层请求已完成，客户端已断开连接。不再有可用的 HttpContext。

我的问题是，我在这里做错了什么？我使用 SimpleInjector 作为 IoC 这会是问题吗？

另外，当您执行 WhenAll 时，它正在等待每个线程运行？是否不使其同步，因此它等待线程完成才能执行下一个线程？我是这个异步世界的新手，因此非常感谢任何帮助。

Answer 1

对于那些在我的问题中添加 -1 的人，而不是提供某种类型的解决方案，只是提出一些毫无意义的东西，这就是答案，以及为什么指定尽可能多的细节是有用的。

第一个问题，因为我使用的是 IIS Express，如果我没有运行我的解决方案 (F5)，那么 Web 应用程序将不可用，这种情况有时并不总是发生在我身上。

第二个问题也是让我非常头疼的一个问题是并非所有文件都得到处理，我之前应该知道这个问题的原因，是在控制台应用程序中使用 async - wait 。我通过执行以下操作强制我的控制台应用程序使用异步:

static void Main(string[] args)
    {
        System.Threading.Tasks.Task.Run(() => MainAsync(args)).Wait();
    }

    static async void MainAsync(string[] args)
    {
      //rest of code

然后，如果您在我的 foreach 中注意到我有await关键字，那么发生的事情是，根据概念await将控制流发送回调用者，在这种情况下，操作系统是调用控制台应用程序的操作系统(这就是为什么不'在控制台应用程序中使用 async -await 没有太大意义，我这样做是因为我通过调用异步方法错误地使用了await)。 所以结果是我的进程只处理了一些 X 个文件，所以我最终做的是以下内容:

添加任务列表，与上面的方法相同:

tasks.Add(_restFulService.CallServiceAsync<WorkflowResponse>(....

运行线程的方式是(在我的控制台应用程序中):

ExecuteAsync(tasks);

最后我的方法:

static void ExecuteAsync(List<System.Threading.Tasks.Task<KeyValuePair<HttpStatusCode, WorkflowResponse>>> tasks)
    {
         System.Threading.Tasks.Task.WhenAll(tasks).Wait();
    }

更新:根据 Scott 的反馈，我更改了执行线程的方式。

现在我能够处理我的所有文件，我对其进行了测试，并在我的同步进程中处理 1000 个文件，花费了大约 160 秒以上的时间来运行所有进程(我有一个包含三个步骤的工作流程，以便处理文件)，当我将异步进程到位时，花了 80 多秒，所以几乎一半的时间。在我的带有 IIS 的生产服务器中，我相信执行时间会更少。

希望这对面临此类问题的任何人有所帮助。