python - 如何在 django 中使用 celery 运行任务并将结果保存在 django 数据库中？

Question

我制作了一个抓取器来从网页上抓取一些链接，并希望每 1 小时运行一次这个抓取器，它驻留在 django 应用程序中，但是 django 不可能每 1 小时运行一次抓取器，因为 django View 取决于请求响应对象。为了解决这个问题，我决定使用一个名为 celery 的 python 库，并根据文档编写了 celery.py 和 tasks.py 文件

通过django项目结构是这样的

newsportal
 - newsportal
    -settings.py 
    -celery.py
    __init__.py
 - news
    -tasks.py
    -views.py 
    -models.py

celery.py 有如下代码

from __future__ import absolute_import

import os

from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'newsportal.settings')

from django.conf import settings  # noqa

app = Celery('newsportal')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

__init__.py文件有如下几行代码

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app  # noqa

而 tasks.py 有以下代码行

from __future__ import absolute_import
from celery import shared_task
from crawler import crawler
from .models import News

@shared_task
def news():
    '''
    scrape all links
    '''
    news = [] #store dict object
    allnews.append(crawler()) 
    for news_dict in allnews:
        for news, url  in news_dict.items():
            #Save all the scrape news in database
            News.objects.create(title=news, url=url, source=source)

我想做的是每 1 小时运行一次上面的 news() 函数并将结果保存到数据库中。

我想将任务的结果保存到 django 数据库中，我该如何实现。

根据 celery 文档，为了保存工作人员给出的结果，我们需要安装 django-celery==3.1.17，因为我已经安装了，并进行迁移。

根据celery docs，对于celery中的数据库后端，我们应该把

app.conf.update(
    CELERY_RESULT_BACKEND='djcelery.backends.database:DatabaseBackend',
)



line of code on settings.py file, on putting this of code in `settings.py` file I got the error of

settings.py", line 141, in <module>
    app.conf.update(
NameError: name 'app' is not defined

因为我已经将以下代码行导入并放入 settings.py 文件中，如下所示

from __future__ import absolute_import
BROKER_URL = 'redis://localhost'

我想做的主要事情是，

1. 每 1 小时运行一次上述爬虫并保存结果 名为新闻的数据库中的爬虫 我如何使用 celery 完成此操作，或者我是否遗漏了什么？

是否有任何其他替代方法来完成此任务

Answer 1

如果您想在 celery.py 中添加该配置，我相信您会在 app.conf.update(...) 中使用该配置。

app.config_from_object('django.conf:settings') 在 celery.py 中的调用表明您正在从 settings 加载配置设置.py 文件。

因此，您应该能够将 CELERY_RESULT_BACKEND='djcelery.backends.database:DatabaseBackend' 放在 settings.py 文件的末尾。

这应该可以防止您遇到该错误。