django - 使用 Supervisor 启动 Celery 时如何避免 SECRET_KEY 错误？

标签 django celery supervisord celeryd

我有一个在 Debian 7.8 上运行的 Django 1.62 应用程序，其中 Nginx 1.2.1 作为我的代理服务器，Gunicorn 19.1.1 作为我的应用程序服务器。我安装了 Celery 3.1.7 和 RabbitMQ 2.8.4 来处理异步任务。我正在尝试使用 Supervisor 3.0a8 管理我的各种应用程序，特别是 Celery。问题是，当我尝试通过 Supervisor 启动 Celery 时，出现此错误:

ImproperlyConfigured: The SECRET_KEY setting must not be empty.

(我在底部显示了整个堆栈跟踪。)

我的所有配置文件都保存在“conf”目录中，该目录位于“myproj”项目目录下方，如下所示:

conf
├── celeryconfig.py
├── celeryconfig.pyc
├── celery.py
├── __init__.py
├── middleware.py
├── settings
│   ├── base.py
│   ├── dev.py
│   ├── __init__.py
│   ├── prod.py
├── urls.py
├── wsgi.py

我的生产 Django 设置保存在 prod.py 设置文件中，该文件继承了我的 base.py 基本设置。我将 key 保存在虚拟环境的激活后文件中，并将其读入我的生产设置中，如下所示。我已通过 Python 解释器验证 key 存在于我的生产设置中。

# conf/settings/prod.py
from conf.settings.base import *
...
# get_env_variable is defined in base.py
SECRET_KEY = get_env_variable("SECRET_KEY")

这是 get_env_variable 函数，它读取以下位置的 key :

# conf/settings/base.py
def get_env_variable(var_name):
    try:
        return os.environ[var_name]
    except KeyError:
        error_msg = "Set the %s environment variable" % var_name
        raise ImproperlyConfigured(error_msg)

这是我的 Supervisor 配置文件。它基于 Celery documentation 中显示的示例文件。 :

# /etc/supervisor/conf.d/myproj.conf
[program:myproj]
command = /www/myproj/bin/start-gunicorn
user = root
stdout_logfile = /var/log/gunicorn/supervisor.log
redirect_stderr = true

[program:celery]
directory=/www/myproj
command=/home/myproj/venv/myproj/bin/celery worker --app=conf -l debug
user=nobody
numprocs=1
stdout_logfile=/var/log/celery/celery.log
stderr_logfile=/var/log/celery/celery.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs=600
killasgroup=true
priority=998

以下是我如何使用 Supervisor 加载新的 Celery 配置:

sudo service supervisor stop
sudo service supervisor start

这是我的 Celery 应用程序文件:

# conf/celery.py
from __future__ import absolute_import
import os
from celery import Celery
from django.conf import settings
from conf import celeryconfig

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'conf.settings')
app = Celery('conf')
app.config_from_object(celeryconfig)
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

这是我的 Celery 配置文件:

# conf/celeryconfig.py
BROKER_URL = 'amqp://guest@localhost:5672//'
CELERY_RESULT_BACKEND = 'amqp'
CELERY_ACCEPT_CONTENT = ['json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_RESULT_EXPIRES = 3600
CELERY_SEND_TASK_ERROR_EMAILS = True

根据 Celery 文档，我修改了 __init__.py:

# conf/__init__.py
from __future__ import absolute_import
from .celery import app as celery_app

我可以使用以下命令手动启动 Celery，它启动得很好:

workon myproj  # Activate project's virtual environment
celery worker -A conf -l info

但是，当我尝试通过 Supervisor 启动它时，我收到了我所描述的错误。考虑到主管可能无法访问 Django key ，因为它是一个环境变量，我尝试在 prod.py 设置文件中对 key 进行硬编码(而不是通过 get_env_variable 函数读取它)，但这并没有修复问题。

我尝试将所有设置合并到包含实际 key 的 prod.py 设置文件中，但这没有帮助。

我还尝试将此环境参数添加到 Supervisor 配置文件中，如下所示，但这并没有解决问题:

# /etc/supervisor/conf.d/myproj.conf
...
[program:celery]
environment=SECRET_KEY="(my secret key)"
directory=/www/myproj
command=/home/myproj/venv/myproj/bin/celery worker --app=conf -l debug
user=nobody
...

我尝试将“用户”设置为我启动网站时使用的用户名，但这也没有帮助。

# /etc/supervisor/conf.d/myproj.conf
...
[program:celery]
environment=SECRET_KEY="(my secret key)"
directory=/www/myproj
command=/home/myproj/venv/myproj/bin/celery worker --app=conf -l debug
user=myproj
...

我读到了一个名为 django-supervisor 的库这应该可以简化 Django 和 Supervisor 之间的集成，但如果我使用该库，我会得到同样的错误。

最后我读到了here on SO如果您的 key 包含“%”符号，主管将不会喜欢它。我注意到我的 key 确实包含一个“%”符号，因此我像“%%”一样转义了它，但这也没有解决问题。

有人能看出我做错了什么吗？我在这里看到了用户提出的其他问题，他们在不同情况下遇到了相同的错误，但我尝试实现所讨论的各种解决方案，但都没有解决问题。

非常感谢您的想法。对于这个长问题感到抱歉，但这个问题有很多移动部分。

这是整个堆栈跟踪:

Traceback (most recent call last):
  File "/home/myproj/venv/myproj/bin/celery", line 11, in <module>
    sys.exit(main())
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/__main__.py", line 30, in main
    main()
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/celery.py", line 81, in main
    cmd.execute_from_commandline(argv)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/celery.py", line 769, in execute_from_commandline
    super(CeleryCommand, self).execute_from_commandline(argv)))
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/base.py", line 307, in execute_from_commandline
    return self.handle_argv(self.prog_name, argv[1:])
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/celery.py", line 761, in handle_argv
    return self.execute(command, argv)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/celery.py", line 693, in execute
    ).run_from_argv(self.prog_name, argv[1:], command=argv[0])
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/worker.py", line 179, in run_from_argv
    return self(*args, **options)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/base.py", line 270, in __call__
    ret = self.run(*args, **kwargs)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/bin/worker.py", line 212, in run
    state_db=self.node_format(state_db, hostname), **kwargs
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/worker/__init__.py", line 95, in __init__
    self.app.loader.init_worker()
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/loaders/base.py", line 128, in init_worker
    self.import_default_modules()
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/loaders/base.py", line 116, in import_default_modules
    signals.import_modules.send(sender=self.app)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/utils/dispatch/signal.py", line 166, in send
    response = receiver(signal=self, sender=sender, **named)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/fixups/django.py", line 69, in on_import_modules
    self.worker_fixup.validate_models()
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/kombu/utils/__init__.py", line 322, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/fixups/django.py", line 64, in worker_fixup
    self._worker_fixup = DjangoWorkerFixup(self.app)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/celery/fixups/django.py", line 99, in __init__
    self._cache = import_module('django.core.cache')
  File "/usr/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/django/core/cache/__init__.py", line 69, in <module>
    if DEFAULT_CACHE_ALIAS not in settings.CACHES:
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/django/conf/__init__.py", line 54, in __getattr__
    self._setup(name)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/django/conf/__init__.py", line 49, in _setup
    self._wrapped = Settings(settings_module)
  File "/home/myproj/venv/myproj/local/lib/python2.7/site-packages/django/conf/__init__.py", line 151, in __init__
    raise ImproperlyConfigured("The SECRET_KEY setting must not be empty.")
django.core.exceptions.ImproperlyConfigured: The SECRET_KEY setting must not be empty.

最佳答案

在你的 celery 配置中，你需要指定你正在使用的设置。目前您有用于生产代码的 prod.py，因此您的 celery.py 应该是

# conf/celery.py
from __future__ import absolute_import
import os
from celery import Celery
from django.conf import settings
from conf import celeryconfig

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'conf.settings.prod')
app = Celery('conf')
app.config_from_object(celeryconfig)
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

因此 celery 会知道您要使用哪个设置文件(如果设置文件夹中有多个设置)

关于django - 使用 Supervisor 启动 Celery 时如何避免 SECRET_KEY 错误？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29518356/

上一篇：asp.net - 是否可以使用 ASP.NET 全局阻止有人访问我的网站时丢弃的所有 cookie(包括第 3 方 cookie)？

下一篇：asp.net - Web.config 位置标记在部署到服务器时停止工作

相关文章：

python - 如何在 Python3 中获取 "old"zip()？

python - Celery 后台任务出现 "Working outside of request context"错误

python - 如何处理 Django Admin 的大量删除？

python - 何时使用 Celery 组进行扇出与延迟

python - 如果我使用 celery 作为我的任务调度程序，我如何从我的 python 应用程序登录到 splunk？

python - 为什么 `celery.current_app` 引用 Flask View 函数中的默认实例

node.js - 如何使用supervisord "npm start"？

php - 在 Laravel Supervisor 中使用多个排队作业的 Mysql 死锁

python - supervisord celery 的用户不正确

Django - 生成默认 slug

©2024 IT工具网  联系我们