python - 如何使用 http 请求启动我的 scrapy 蜘蛛？

Question

我是 Python 的新手，刚刚使用 scrapy 编写了一些蜘蛛程序。现在我想使用这样的 http 请求来激活我的蜘蛛: http://xxxxx.com/myspidername/args

我使用 nginx + uwsgi + django 来调用我的 scrapy 蜘蛛。

步骤:

1. 创建&配置django项目

2. 在django项目根目录下创建scrapy项目，写我的spider

3. 启动uwsgi:uwsgi -x django_socket.xml

4. 在 django 应用程序的 views.py 中调用我的蜘蛛

   from django.http import HttpResponse
   from scrapy import cmdline
   def index(request, mid):
       cmd = "scrapy crawl myitem -a mid=" + mid
       cmdline.execute(cmd.split())
       return HttpResponse("Hello, it work")
   

当我访问 http://myhost/myapp/index指向索引 View ，nginx返回错误页面，错误日志显示“upstream prematurely closed connection while reading response header from upstream”，我可以看到进程uwsgi消失了，但在 uwsgi 的日志中我可以看到我的蜘蛛正确运行。

我该如何解决这个错误？

这样对吗？还有其他方法可以做我想做的事吗？

Answer 1

我不认为在 Django View 中启动蜘蛛工具是个好主意。 Django 网络应用程序旨在向最终用户提供快速请求/响应，以便他们可以快速检索信息。即使我不完全确定导致错误发生的原因，我想只要蜘蛛不完成，您的 View 函数就会卡在那里。

这里有两个选项，您可以尝试改善用户体验并尽量减少可能发生的错误:

1. 定时任务 它会定期运行您的脚本。它可靠且更容易记录和调试。但调度不灵活，缺乏控制。

2. celery 这是非常适合 python/django 的特定工具，可以动态安排您的任务。您可以定义类似 crontab 的任务以定期运行，或者在运行时应用任务。它不会阻止您的 View 功能并在单独的进程中执行所有内容，因此它很可能是您想要的。它需要一些设置，因此一开始可能并不简单。但是，很多人都使用过它，一切就绪后效果很好。