python - Python的构建过程工具

标签 python apache-spark gradle setuptools pygradle

我是一名Java开发人员,为Apache Spark编写(独立)应用程序。为了创建 Artifact ,我将Gradle与ShadowJar插件一起使用。

一些队友想使用Python。当前,他们使用JetBrains PyCharm编写这些Python脚本并在Spark集群环境中远程执行它们。但是,此过程无法很好地扩展(如果涉及多个文件,该怎么办?),我正在Python生态系统中寻找解决方案。问题是我和我的团队成员都不是Python专家(实际上其他团队成员都不是开发人员,而是必须编写代码。管理决策...),所以我们不知 Prop 体是什么。 Python开发的最佳实践。

我尝试了PyGradle,但感觉无法平稳集成,尤其是使用Apache Spark时。我绊倒了像Pip,Pex,Setuptools,VirtualEnv之类的名称。这些工具是什么?它们如何相互干扰?

为了避免X-Y问题:我想要一个可以使用一个命令(例如gradle build)构建,(单元测试)和打包的Codebase。生成的 Artifact 应能够在Spark集群上部署和执行。

最佳答案

我也是这个世界的新手,想在AI启动中设置流程。我认为http://pybuilder.github.io/至少是自动化的良好起点,因为我正在尝试在我们当中进行设置。

关于python - Python的构建过程工具,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45534665/

相关文章:

python - 波涛汹涌的在线 python 游戏

python - 检测 Python 或动态语言中的无限递归

scala - 限制数据帧分区的最大大小

apache-spark - 有效地找到与给定向量的前 K 个余弦相似向量

hadoop - 通过 ODBC 连接到 Spark SQL

python - BeautifulSoup 获取给定标签后的所有链接

python - 如何模拟线程中的内置模块

android - 无法下载 gradle.jar

android - flutter | Android Gradle 插件仅支持 Kotlin Gradle 插件版本 1.3.0 及更高版本

java - Spring STS 3.6.1 和 Gradle 插件