python - Airflow :无法配置处理程序 "processor"

标签 python docker airflow

我对 Apache-airflow 非常陌生,刚开始在 udemy (this course) 中学习类(class)。

我们已收到 YAML 文件,并被要求按照说明安装 Airflow 。 我相信我已经能够安装 Airflow ,因为我在执行后续步骤时遇到了任何错误:

  1. 创建一个新文件 new_file.env (Visual Studio)
  2. 在新文件中添加这些行并保存:
AIRFLOW_IMAGE_NAME=apache/airflow:2.3.0
AIRFLOW_UID=50000
  1. 打开终端并运行
docker-compose up -d

然后当我尝试打开 localhost:8080 时,没有打开任何东西。

当我检查容器时,使用

docker-compose ps

我看到有些容器不健康。

docker logs materials_name_of_the_container #here I inserted every tome different container name

最常见的错误是“无法配置处理程序“处理器”

我在这里看到了post with similar problem建议使用 pip 安装 Azure,我尝试在终端中打印:

pip install 'apache-airflow[azure_blob_storage,azure_data_lake,azure_cosmos,azure_container_instances]

#also tried with one more '

pip install 'apache-airflow[azure_blob_storage,azure_data_lake,azure_cosmos,azure_container_instances]'

我收到一个无法识别 pip 的错误: enter image description here

我的目标是完成安装,并“在路上”了解这些错误发生的原因。我相信 YAML 文件很好(因为它是一门有组织的类(class)),但不知道容器内部发生了什么或发生了什么,以及这些容器所在的位置,因此欢迎为初学者提供任何“虚拟”解释。

最佳答案

在阅读this troubleshooting page 之后,我最终解决了这个问题。 .我试图配置用户和组,然后我意识到由于某种原因,我的用户不是管理员。我已经更改了它,卸载了所有东西(docker+visual studio),然后重新安装了它,然后——耶!它有效并且没有出现此错误。

所以我做的步骤: 〜更改为管理员的第一步-我昨天完成了,但我不记得 100% 是怎么做的,我认为是这样的,如果有误请告诉我...

  1. 输入用户和组 - 这在我的 Windows 10 中不可用,如果我没记错的话,我在键盘上按了 “windows”+“R”,然后输入“netplwiz”并按了回车键. enter image description here
    2.双击用户名,打开这个标签:

![enter image description here

  1. select administraor(屏幕显示是在修复之后,所以可能没有 docker 选项)

<强>4。重启电脑
5.卸载docker和visual studio
6.重新安装docker和visual studio
7. docker-compose up -d ....
然后在几分钟后它起作用了。

感谢所有试图帮助我的人:)

让我知道这个答案是否有需要改进的地方。

关于python - Airflow :无法配置处理程序 "processor",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/73274738/

相关文章:

python - 导入错误: cannot import name 'MaxPooling2D'

ubuntu - ubuntu 上的 Docker 主机 ip

python - Google Cloud Composer 安装依赖项的时间太长

python - 如何配置 Apache Airflow 以使用 MS SQL Server Windows 身份验证

python - 如何使用2个线程访问1个网络摄像头

python - 我正在设置 python 类,但它打印 <main.deteil object at 0x03391d90

java - 从 Docker 容器中的 Ignite 客户端连接到另一个 Docker 容器中的 Ignite 服务器问题

spring-boot - docker 端口不可用

python - 在特定日期列表上执行 Airflow DAG 实例(任务)

python - 转换日期对象中的字符串(包含其他字符串) - Python