c# - System.TimeoutException : A timeout occured after 30000ms selecting a server using CompositeServerSelector

标签 c# .net mongodb wcf mongodb-.net-driver

我有以下应用程序:

application deployment diagram

A - 应用程序 A 是托管在 IIS 7.5 中的 .net wcf 服务，使用在 .net 4.5 中编译的 c# mongodriver 2.2.4

B - 应用程序 B 是使用 mongodriver 1.11 在 .net 3.5 中编译的 Windows 服务应用程序

两种服务是相似的，服务 B 是为遗留系统维护的，而服务 A 正在演变。

这两个应用程序都托管在相同的服务器中。 (Windows 标准 2008 R2)
该应用程序已经完美运行了 1 年多，但自 2016 年 6 月 24 日以来，应用程序 A (WCF) 在打开与 Mongo Server 的新连接时开始出现奇怪的行为:

> System.TimeoutException: A timeout occured after 30000ms selecting a
> server using CompositeServerSelector{ Selectors =
> ReadPreferenceServerSelector{ ReadPreference = { Mode = Primary,
> TagSets = [] } }, LatencyLimitingServerSelector{ AllowedLatencyRange =
> 00:00:00.0150000 } }. Client view of cluster state is { ClusterId :
> "1", ConnectionMode : "ReplicaSet", Type : "ReplicaSet", State :
> "Disconnected", Servers : [{ ServerId: "{ ClusterId : 1, EndPoint :
> "Unspecified/mongodb-log-act01:27017" }", EndPoint:
> "Unspecified/mongodb-log-act01:27017", State: "Disconnected", Type:
> "Unknown" }] }.    at
> MongoDB.Driver.Core.Clusters.Cluster.WaitForDescriptionChangedHelper.HandleCompletedTask(Task
> completedTask)    at
> MongoDB.Driver.Core.Clusters.Cluster.<WaitForDescriptionChangedAsync>d__44.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> MongoDB.Driver.Core.Clusters.Cluster.<SelectServerAsync>d__37.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> System.Runtime.CompilerServices.ConfiguredTaskAwaitable`1.ConfiguredTaskAwaiter.GetResult()
> at
> MongoDB.Driver.Core.Bindings.ReadPreferenceBinding.<GetReadChannelSourceAsync>d__8.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> System.Runtime.CompilerServices.ConfiguredTaskAwaitable`1.ConfiguredTaskAwaiter.GetResult()
> at
> MongoDB.Driver.Core.Operations.FindOperation`1.<ExecuteAsync>d__107.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> MongoDB.Driver.OperationExecutor.<ExecuteReadOperationAsync>d__1`1.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> MongoDB.Driver.MongoCollectionImpl`1.<ExecuteReadOperationAsync>d__59`1.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> System.Runtime.CompilerServices.ConfiguredTaskAwaitable`1.ConfiguredTaskAwaiter.GetResult()
> at
> MongoDB.Driver.IAsyncCursorSourceExtensions.<ToListAsync>d__16`1.MoveNext()
> --- End of stack trace from previous location where exception was thrown ---    at
> System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw()    at
> System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task
> task)    at
> Liberty.LogService.Implementation.LogManagerService.<Inicializar>d__0.MoveNext()


此错误不是恒定的，有时会无缘无故地发生。但是服务 B 继续工作，如果尝试从我的桌面连接到 mongo，我可以做到，那么如果服务器完全可访问，mongo 驱动程序如何引发与连接问题相关的异常？

上次尝试已迁移到上一个驱动程序版本。当这个问题开始时，我使用的是驱动程序 2.0.1

我感谢任何帮助

最佳答案

这是一个与任务库相关的非常棘手的问题。简而言之，创建和调度的任务太多，因此 MongoDB 驱动程序正在等待的任务之一将无法完成。我花了很长时间才意识到这不是一个僵局，尽管看起来确实如此。

这是重现的步骤:

  • 下载MongoDB's CSharp driver源代码.
  • 打开该解决方案并在其中创建一个控制台项目并引用驱动程序项目。
  • 在 Main 函数中，创建一个 System.Threading.Timer，它将按时调用 TestTask。将计时器设置为立即启动一次。最后，添加一个 Console.Read()。
  • 在 TestTask 中，使用 for 循环通过调用 Task.Factory.StartNew(DoOneThing) 创建 300 个任务。将所有这些任务添加到列表中并使用 Task.WaitAll 等待所有任务完成。
  • 在 DoOneThing 函数中，创建一个 MongoClient 并做一些简单的查询。
  • 现在运行它。

    • 这将在您提到的同一个地方失败:MongoDB.Driver.Core.Clusters.Cluster.WaitForDescriptionChangedHelper.HandleCompletedTask(Task completedTask)
    如果你放了一些断点，你就会知道 WaitForDescriptionChangedHelper 创建了一个超时任务。然后等待 DescriptionUpdate 任务或超时任务中的任何一项完成。但是，DescriptionUpdate 永远不会发生，但为什么呢？

    现在，回到我的例子，有一个有趣的部分:我启动了一个计时器。如果你直接调用TestTask，它会毫无问题地运行。通过将它们与 Visual Studio 的任务窗口进行比较，您会注意到计时器版本将创建比非计时器版本更多的任务。让我稍后解释这部分。还有一个重要的区别。您需要在 Cluster.cs 中添加调试行:
        protected void UpdateClusterDescription(ClusterDescription newClusterDescription)
    {
        ClusterDescription oldClusterDescription = null;
        TaskCompletionSource<bool> oldDescriptionChangedTaskCompletionSource = null;

        Console.WriteLine($"Before UpdateClusterDescription {_descriptionChangedTaskCompletionSource?.Task.Id}, {_descriptionChangedTaskCompletionSource?.Task?.GetHashCode().ToString("F8")}");
        lock (_descriptionLock)
        {
            oldClusterDescription = _description;
            _description = newClusterDescription;

            oldDescriptionChangedTaskCompletionSource = _descriptionChangedTaskCompletionSource;
            _descriptionChangedTaskCompletionSource = new TaskCompletionSource<bool>();
        }

        OnDescriptionChanged(oldClusterDescription, newClusterDescription);
        Console.WriteLine($"Setting UpdateClusterDescription {oldDescriptionChangedTaskCompletionSource?.Task.Id}, {oldDescriptionChangedTaskCompletionSource?.Task?.GetHashCode().ToString("F8")}");
        oldDescriptionChangedTaskCompletionSource.TrySetResult(true);
        Console.WriteLine($"Set UpdateClusterDescription {oldDescriptionChangedTaskCompletionSource?.Task.Id}, {oldDescriptionChangedTaskCompletionSource?.Task?.GetHashCode().ToString("F8")}");
    }

    private void WaitForDescriptionChanged(IServerSelector selector, ClusterDescription description, Task descriptionChangedTask, TimeSpan timeout, CancellationToken cancellationToken)
    {
        using (var helper = new WaitForDescriptionChangedHelper(this, selector, description, descriptionChangedTask, timeout, cancellationToken))
        {
            Console.WriteLine($"Waiting {descriptionChangedTask?.Id}, {descriptionChangedTask?.GetHashCode().ToString("F8")}");
            var index = Task.WaitAny(helper.Tasks);
            helper.HandleCompletedTask(helper.Tasks[index]);
        }
    }

    通过添加这些行，您还会发现非定时器版本会更新两次，而定时器版本只会更新一次。第二个来自 ServerMonitor.cs 中的“MonitorServerAsync”。原来，在定时器版本中，MontiorServerAsync 是被执行的，但是经过 ServerMonitor.HeartbeatAsync、BinaryConnection.OpenAsync、BinaryConnection.OpenHelperAsync 和 TcpStreamFactory.CreateStreamAsync 之后，它终于到达了 TcpStreamFactory.ResolveEndPointsAsync。坏事发生在这里:Dns.GetHostAddressesAsync .这个永远不会被执行。如果您稍微修改代码并将其转换为:
        var task = Dns.GetHostAddressesAsync(dnsInitial.Host).ConfigureAwait(false);

    return (await task)
        .Select(x => new IPEndPoint(x, dnsInitial.Port))
        .OrderBy(x => x, new PreferredAddressFamilyComparer(preferred))
        .ToArray();

    您将能够找到任务 ID。通过查看 Visual Studio 的任务窗口，很明显它前面有大约 300 个任务。只有几个正在执行但被阻止。如果在 DoOneThing 函数中添加 Console.Writeline，您将看到任务调度程序几乎同时启动其中的几个，但随后会减慢到大约每秒一个。因此，这意味着您需要等待大约 300 秒才能开始运行解析 dns 的任务。这就是为什么它超过 30 秒超时的原因。

    现在，如果您不做疯狂的事情，这里有一个快速的解决方案:
    Task.Factory.StartNew(DoOneThing, TaskCreationOptions.LongRunning);

    这将强制 ThreadPoolScheduler 立即启动一个线程，而不是在创建新线程之前等待一秒钟。

    但是，如果您像我一样在做非常疯狂的事情，这将不起作用。让我们将 for 循环从 300 更改为 30000，即使此解决方案也可能失败。原因是它创建了太多线程。这是资源和时间消耗。它可能会开始启动 GC 过程。总之，它可能无法在时间用完之前完成所有这些线程的创建。

    完美的方法是停止创建大量任务并使用默认调度程序来安排它们。您可以尝试创建工作项并将其放入 ConcurrentQueue 中，然后创建多个线程作为工作人员来使用这些项目。

    但是，如果不想对原有结构进行过多改动，可以尝试以下方式:

    创建一个从 TaskScheduler 派生的 ThrottledTaskScheduler。
  • 这个 ThrottledTaskScheduler 接受一个 TaskScheduler 作为将运行实际任务的底层。
  • 将任务转储到底层调度程序，但如果超过限制，则将其放入队列中。
  • 如果任何任务完成，请检查队列并尝试在限制内将它们转储到底层调度程序中。
  • 使用以下代码启动所有这些疯狂的新任务:

    • ·
    var taskScheduler = new ThrottledTaskScheduler(
    TaskScheduler.Default,
    128,
    TaskCreationOptions.LongRunning | TaskCreationOptions.HideScheduler,
    logger
    );
var taskFactory = new TaskFactory(taskScheduler);
for (var i = 0; i < 30000; i++)
{
    tasks.Add(taskFactory.StartNew(DoOneThing))
}
Task.WaitAll(tasks.ToArray());

    您可以引用 System.Threading.Tasks.ConcurrentExclusiveSchedulerPair.ConcurrentExclusiveTaskScheduler。它比我们需要的要复杂一些。是为了别的目的。所以，不要担心那些与 ConcurrentExclusiveSchedulerPair 类中的函数来回切换的部分。但是，您不能直接使用它，因为它在创建包装任务时没有通过 TaskCreationOptions.LongRunning。

    这个对我有用。祝你好运!

    PS:
    在计时器版本中有很多任务的原因可能在于 TaskScheduler.TryExecuteTaskInline。如果在创建 ThreadPool 的主线程中，它将能够执行一些任务，而无需将它们放入队列中。

    关于c# - System.TimeoutException : A timeout occured after 30000ms selecting a server using CompositeServerSelector，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38859755/

    上一篇：c# - 自定义 BSON 键值序列化器

    下一篇：java - 与基于 Spring Security 的身份验证与 mongodb 后端数据库混淆

    相关文章：

    c# - 用 [Authorize] 属性装饰的 Controller 的集成测试

    c# - Visual Studio调试器在混合 Debug模式下停止击中断点

    .net - 如何使用 Windows 为客户端和安全新手设置 WCF 传输安全？

    mongodb - Mongo 使用(太多)太多空间

    c# - 分组并从列表中删除

    c# - 动态 Excel 电子表格

    .net - 是否有与ilmerge相反的实用程序？

    javascript - Mongoose 在两个参数中搜索一个值

    mongodb - MongoDB : Get all documents inserted after the last known one

    C# Selenium 'ExpectedConditions is obsolete'

    ©2024 IT工具网  联系我们