python - 并发 Python 维基百科包请求

Question

我正在制作一个 python 应用程序，它使用 python Wikipedia 包来检索 3 个不同维基百科页面的正文。但是，我注意到一次检索一篇文章时性能非常慢。有没有一种方法可以并行检索 3 个维基百科页面的正文？

Answer 1

如果您想要“原始”页面，您可以使用任何 python 抓取库，例如 twisted/scrapy 。 但是，如果您正在寻找解析的 wiki 格式，您应该使用 pywikibot/mwparserfromhell具有多进程。