我计划使用 python 开发一个 Web/云应用程序,它执行以下操作,
1.上传Perl/Python抓取脚本并执行。
2. 上传脚本以按计划运行。
3. 使用不同的输入参数运行同一脚本的多个实例。
4. 衡量脚本性能。
5. 查看脚本标准输出/日志。
我对能够满足我的要求的技术了解有限/不了解,
对现有工作、库、开源实现等的提示、指针、想法表示赞赏。
谢谢,
拉杰什。
最佳答案
使用 Scrapy 作为您工作的基础:
对于上传、脚本性能和输出(我假设是通过 Web 界面),您需要编写自定义 Web 前端,将该信息存储在数据库中,然后您可以在数据库中探索它。一种选择是金字塔:
http://pypi.python.org/pypi/pyramid/
有关 Python 云部署,请参阅 Heroku:
关于Python,云 - 具有调度功能的在线网页抓取工具,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7927362/