我的管道发出大量 HTTP 请求。这不是一个 CPU 密集型操作,我想旋转比 CPU 内核数量更多的进程。我该如何更改?
最佳答案
ParallelRunner 支持 max_workers
参数,但目前无法从 kedro run cli 命令传递它。这样做是为了降低 CLI 的复杂性。
您可以手动添加参数,或者在 kedro_cli.py
中实例化 ParallelRunner 时只对值进行硬编码。运行者部分可能看起来像:
runner_class = load_obj(runner, "kedro.runner") if runner else SequentialRunner
runner_params = {'num_workers': 100} if runner is ParallelRunner else {}
context = load_context(Path.cwd(), env=env)
context.run(
tags=tag,
runner=runner_class(**runner_params),
node_names=node_names,
from_nodes=from_nodes,
to_nodes=to_nodes,
from_inputs=from_inputs,
load_versions=load_version,
pipeline_name=pipeline,
)
关于python - 如何更改 Kedro 中 ParallelRunner 的进程数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58798971/