python-2.7 - 如何在 Condor 上运行 python 程序?

标签 python-2.7 distributed-computing condor

我是 Condor 的新手,正在尝试在 Condor 上运行我的 Python 程序,但很难做到。我发现的所有教程都假设一个文件 Python 程序,但我的 Python 程序由多个包和文件组成,并且还使用其他库,例如 numpy 和 scipy。在这种情况下,如何让 Condor 运行我的程序?我应该将程序转换为某种可执行文件吗?或者,有什么方法可以将 Python 源代码传输到 Condor 机器中,并使 Condor 上的 Python 运行源代码?

谢谢,

最佳答案

你的工作需要带上完整的 Python 安装(包括 SciPy 和 NumPy)。这涉及在本地目录中构建 python 安装(可能在交互式 HTCondor 作业中),在此本地 python 安装中安装您需要的任何库,然后创建包含为 transfer_input_files 的安装的 tarball。在运行 python 脚本之前,您必须在您的作业中使用一个包装脚本来解压您的 python 安装并将您的作业指向正确的 python 可执行文件。

以下是一个集群对如何执行此操作的说明:http://chtc.cs.wisc.edu/python-jobs.shtml

关于python-2.7 - 如何在 Condor 上运行 python 程序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43216514/

相关文章:

centos - 我应该使用什么类型的安装在运行 CentOS 的 4 台服务器上安装 Condor

python - 如何告诉 Condor 仅将作业分派(dispatch)给集群上安装了 "numpy"的机器?

python - 更改 Tkinter 中的按钮状态

python - cx_oracle 和 python 2.7

python - 在 Django 中, super 用户是否可以拥有与非 super 用户不同的必填字段?

python - 对于将即发即弃任务发送到一堆 Web 服务器的 Web 服务器来说,正确的 ZMQ 架构是什么?

hadoop - ChainMapper 和 ChainReducer 有哪些 killer 级应用?

apache-spark - 如何强制Spark内联评估DataFrame操作

python - pytest中fixture和yield_fixture的区别

php - 使用 PHP 显示 HTCondor 状态