hudson - Jenkins CI (Hudson) - 如何启动交互式下游作业?

标签 hudson parallel-processing jobs jenkins

海雅,

我正在尝试在 Jenkins 中正确配置项目。

我想利用作业的并行化来使用不同的机器来进行一些计算。

我的脚本分为三个部分: A - 带有参数的一个脚本。这个参数是一个大文件。该脚本将计算我需要启动多少个小计算作业。 B - 数量可变的小型并行作业。这与我在不同的小文件上启动的作业相同。 C - 最终工作,必须等待所有小工作(第 2 部分)完成。

问题是我想监控进度。

我的想法是在第三部分中使用 join 插件。但我在为第 2 部分启动可变数量的下游作业时遇到一些问题......(以便我可以使用管道下游插件监控它们)

你知道我该怎么做吗?

为了在第 2 部分中启动不同数量的相同作业,我正在考虑在我的脚本 A 中调用 jenkins api。 有没有办法在调用 api 时通知父项目,以便在父项目中看到通过 api 调用的所有下游作业?

最佳答案

很抱歉,这不是对您问题的直接答案,但我不确定 Jenkins 是否已做好管理您所描述的作业的变量分配的准备。但是,还有其他可能有用的工具。

  • 我用过parallel既可以执行简单的批处理操作,也可以对多台计算机上的大量文件进行自动分析操作。
  • this ServerFault question 中有很多工具链接关于如何将相同的命令分发到多台机器。

如果 B 中的每个作业都需要标准的 checkout 、构建、归档步骤,我可以看到 Jenkins 将如何有用。但如果 B 中的工作更加独立,那么我会使用更简单的工具。使用像parallel这样的工具,你的所有步骤都将成为一项工作,可以通过parallel的控制台输出进行监控。

关于hudson - Jenkins CI (Hudson) - 如何启动交互式下游作业?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5676985/

相关文章:

java - 扩展 Jenkins/Hudson 插件以设置环境变量对

parallel-processing - Julia中的大数据并行计算

ruby-on-rails - rspec email_spec 和 jobs.. 它是如何工作的?我想检查这封信是否已发送..可能还有电子邮件正文

c# - NServiceBus 批处理长时间运行的作业

Jenkins - 在构建步骤期间检索完整的控制台输出

java - 让 Checkstyle 自定义规则在 Hudson/Jenkins 中工作

hudson - 如何: project based authorization in Hudson

file - 在并行循环中打开文件会使程序崩溃

go - 如何始终从 Go channel 获取最新值?

selenium - 从 Jenkins 运行脚本时获取 "Timeout"和 "Unable to locate element"