python - 如何自动运行爬虫？

Question

我正在使用django和scrapy框架来完成一个项目。在我的项目中，有两个爬虫。现在我希望这些爬虫每天自动运行一到两次。那么我怎样才能做到这一点呢？这是如何实现的？我正在寻找使用 cron 作业的简单想法？因此，我正在寻找一些好的且简单的引用资料来开始。

Answer 1

我认为 cronjob 将是最简单的方法。

只需将以下内容添加到“/etc/crontab”(或使用crontab -e):

0 0 * * * python /path/to/your/script.py

它将在每天 00:00 运行

这里还有一些不错的引用网站:http://www.thesitewizard.com/general/set-cron-job.shtml

编辑:如果您不希望将输出发送到您的邮件，只需使用:

0 0 * * * python /path/to/your/script.py > /dev/null

或

0 0 * * * python /path/to/your/script.py >/dev/null 2>&1

第一个将“破坏”“正常”输出(但会记录任何错误)，第二个将“破坏”任何输出。