我正在从事一个受 I/O 限制的项目。
我有 3 个相关任务:
1.抓取站点+提取主要内容(删除评论/广告等)
2. 一旦 1 完成,它将数据发送到 summerizer
3. 一旦 2 完成,它就会调用一个 View 并呈现一个页面
我目前了解 Python 和 Django。对于这个项目,您推荐我使用哪些技术? (我知道 Python + Twisted 或 node.js 是 I/O 绑定(bind)项目的理想选择)。
最佳答案
如果您已经在使用 Python,那么最好还是坚持使用 Python 库,尤其是当有这么多强大的异步 Python 库时。 Node.js 很好,但不需要在 Python 和 Javascript 之间切换。
无论如何,你的问题非常模糊。您完全可以使用 Twisted,它可能会做您想要的,只要您足够了解 API。其他异步框架包括 gevent和一个名为 Tornado 的网络服务器.
还有 Celery专门用于队列的异步处理。它可能对您想要的有帮助,也可能没有帮助。
我建议您进行大量研究,查看上述库的文档,然后确定最适合您的项目的内容。如果您有更具体的问题,您可以询问图书馆各自的 IRC channel ,或在这里发布更明确的问题。
关于带有 Twisted 或 Node.js 的 Python,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9511751/