我正在使用 Twisted 编写一个由 Selenium 驱动的网络爬虫。这个想法是我为一个扭曲的客户端和一个将代理 HTTP 请求代理到服务器的扭曲服务器生成扭曲的线程。看起来像这样的东西:
+--------+ +--------+
| +------>+ |
-->| Client | | Server |---> WWW
| +<------+ |
+--------+ +--------+
不过，所有这些都在同一个进程中运行。问题是 twisted 是否允许这种应用程序或仅被认为将 Client 和 Server 作为不同的进程运行(因为这是我到处都看到的典型情况)。
最佳答案
您不能在线程中使用 Twisted。但是，您可以制作一个 Twisted 线程，它可以愉快地制作多个客户端和服务器。
您可能需要更详细地描述您的问题以获得更好的答案。
关于python - 使用 python twisted 编写网络爬虫，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29613616/