google-app-engine - 应用引擎上的爬虫

标签 google-app-engine

我想在appengine上连续运行一个程序。这个程序会自动连续抓取一些网站并将数据存储到它的数据库中。程序是否可以 继续在 appengine 上这样做?还是 appengine 会终止进程?

注意:要抓取的网站没有存储在appengine上

最佳答案

i want to run a program continiously on appengine.

不能。

最接近的是后台运行 scheduled tasks最后no more than 30 seconds :

Notably, this means that the lifetime of a single task's execution is limited to 30 seconds. If your task's execution nears the 30 second limit, App Engine will raise an exception which you may catch and then quickly save your work or log process.

关于google-app-engine - 应用引擎上的爬虫,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3087871/

相关文章:

mysql - 部分删除成功 : expected behavior? 解决方法?

android - KSOAP2-Android addPropery 不起作用

android - Google Goggles - Android 应用程序

java - 在客户端使用 Ref.create() 会导致错误

python - 从 AppEngine 上的 Python 开始

python - 对 AppEngine header 进行不区分大小写的比较是否安全?

google-app-engine - 尝试将 Utf-8 数据存储在数据存储中,获取 UnicodeEncodeError

android - 如何在 Windows 7 中取消签名 bcprov-jdk15on-146.jar?

ruby-on-rails - 如何在 Google App Engine 上调试 Cron 作业?

java - GAE 数据存储查询整数字段