python - 在 Apache Spark : py4j. 协议(protocol)中导入气泡水 (H2O) 管道时出错。Py4JError

Question

我最近在最后阶段使用 Sparkling Water 的 AutoML 创建了一个 PySpark 管道(与 https://github.com/h2oai/sparkling-water/blob/master/py/examples/pipelines/ham_or_spam_multi_algo.py 非常相似)，但是当我从文件加载模型时，出现此错误:

例如:

model = loaded_pipeline.fit(data)
model.write().overwrite().save("examples/build/model")
loaded_model = PipelineModel.load("examples/build/model")


py4j.protocol.Py4JError: ai.h2o.sparkling.ml.models.H2OMOJOModel.H2OSupervisedMOJOModel does not exist in the JVM

我有当前的软件包/版本:H2O (3.28.0.3)、h2o-pysparkling-2-4 (3.28.0.3-1)、PySpark (2.4.3)、Py4j (0.10.7)。 我只是在将 H2O/Sparkling Water 更新到 3.28 版本时才出现此错误。是否与某些环境变量或包版本的定义有关？

Answer 1

请在代码开头运行from pysparkling import *。此调用可确保我们将 Sparkling Water 依赖项添加到 Spark 应用程序。