c# - 关于c#并行化的几个问题

Question

我正在用 C# 编写一个重型网络爬虫。我希望它快速且可靠。 Parallel.Foreach 和 Parallel.For 对此来说太慢了。 对于输入，我使用 URL 列表。我想要最多 300 个线程同时工作(我的 cpu 和网络连接可以处理这个)。最好的方法是什么？使用任务会更有效吗？ 有时，线程会无明显原因结束，并且某些结果不会保存。我想要一种更可靠的方法来做到这一点。有任何想法吗？ 我想要更可靠的队列类型的抓取。 我想出了什么(不是所有代码，而是重要部分):

        List <string> input = // read text file
        int total = words.Length;
        int maxThreads = 300;

        while (true)
        {
            if (activeThreads < maxThreads)
            {
               current++;
               Thread thread = new Thread(() => CrawlWebsite(words[current]));
               thread.Start();
            }
        }

        public static void CrawlWebsite(string word)
        {
            activeThreads++;

            // scraping part

            activeThreads--;
        }

Answer 1

考虑使用System.Threading.ThreadPool。对于具有许多线程的场景来说，它可能会更快一些，并且您不需要管理 activeThreads。相反，您可以使用 ThreadPool.SetMaxThreads() 和 SetMinThreads()，ThreadPool 会为您管理并行线程的数量。

顺便说一句，您的示例中缺少共享变量的同步。同步访问的方法之一是使用“锁” - 请参阅http://msdn.microsoft.com/en-us/library/c5kehkcz.aspx

您的线程运行方法 - CrawlWebsite() 应该处理 ThreadAbortException - 请参阅 http://msdn.microsoft.com/en-us/library/system.threading.threadabortexception.aspx .