Python,云 - 具有调度功能的在线网页抓取工具

标签 python cloud

我计划使用 python 开发一个 Web/云应用程序,它执行以下操作,
1.上传Perl/Python抓取脚本并执行。
2. 上传脚本以按计划运行。
3. 使用不同的输入参数运行同一脚本的多个实例。
4. 衡量脚本性能。
5. 查看脚本标准输出/日志。

我对能够满足我的要求的技术了解有限/不了解,
对现有工作、库、开源实现等的提示、指针、想法表示赞赏。

谢谢,
拉杰什。

最佳答案

使用 Scrapy 作为您工作的基础:

http://scrapy.org/

对于上传、脚本性能和输出(我假设是通过 Web 界面),您需要编写自定义 Web 前端,将该信息存储在数据库中,然后您可以在数据库中探索它。一种选择是金字塔:

http://pypi.python.org/pypi/pyramid/

有关 Python 云部署,请参阅 Heroku:

http://www.heroku.com/

关于Python,云 - 具有调度功能的在线网页抓取工具,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7927362/

相关文章:

Python:在实例之间共享数据

python - 如何在 Pandas 中旋转数据框?

适用于云服务的 Azure 流量管理器 - 存储访问怎么样?

android - 如何创建一个自动上传Android图片的应用程序?

java - 在云端建立数据库

python - Pandas SQLalchemy : complex filter on database columns

Python:subprocess.stdin.write 无法正常工作

javascript - 在 ipython 笔记本中导入 javascript 文件以创建自定义小部件

java - 云是否已为企业 Java Web 应用程序做好准备?寻求 Java EE 托管建议

azure - 如何将azure应用程序服务切换到64位模式