python - pySpark 项目的 Azure DevOps CI 管道

标签 python azure pyspark azure-devops

我正在尝试在我的几个 pyspark 项目上实现 azure devops。

一些项目是在 pyCharm 中开发的,一些是在带有 python API 的 intelliJ 中开发的。

下面是git仓库中提交的代码结构。 enter image description here

setup.py 是用于创建 .egg 文件的构建文件。

我尝试了如下所示的几个步骤来在 DevOps 中创建构建管道。 enter image description here 但是 python 安装部分/执行部分失败并出现以下错误。

##[error]The process 'C:\hostedtoolcache\windows\Python\3.7.9\x64\python.exe' failed with exit code 1

我更喜欢 UI API 来构建和创建 .egg 文件,如果不可能的话 YAML 文件。

感谢任何线索!

最佳答案

我使用了使用Python步骤,然后一切都像魅力一样工作

enter image description here

您能显示安装Python步骤的详细信息吗?

关于python - pySpark 项目的 Azure DevOps CI 管道,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65103685/

相关文章:

apache-spark - VectorAssembler 仅输出到 DenseVector?

python - 用pyproj坐标转换

python - 为什么在调用方法时无法识别 Pytest Parametrize?

azure - 有没有办法在不选择导出单元格选项的情况下从databricks单元格中获取所有html代码?

python - 使用 Databricks 处理大量 JSON (~12TB)

python - 检查pyspark中另一个数据帧的一列中的值

python - 用 pyspark 替换数据框中一列的所有值

python - 如何批量执行一系列Python脚本?

python - 从字符串末尾开始的非贪婪 Python 正则表达式

postgresql - Azure Powershell - 重命名 Database for PostgreSQL Server 实例