apache-spark-mllib - 如何在没有 SparkContext 的情况下加载 spark.mllib 模型进行预测?

标签 apache-spark-mllib random-forest apache-spark-1.6

使用 Spark1.6.0 MLLib,我将构建一个模型(如 RandomForest)并保存到 hdfs,然后可以从 hdfs 加载随机森林模型以在没有 SparkContext 的情况下进行预测。现在,加载我们可以使用的模型这个:

val loadModel = RandomForestModel.load(sc,modelpath)

有没有其他方法可以在没有 sc 的情况下加载模型?谢谢!

最佳答案

我们使用 spark 训练我们的模型,但为了服务有我们自己的算法实现(逻辑回归等),它使用 spark 训练的模型输出,但这种方式不必实例化 spark 上下文。

关于apache-spark-mllib - 如何在没有 SparkContext 的情况下加载 spark.mllib 模型进行预测?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44402447/

相关文章:

scala - 将任意数量的列转换为 Vector

python - 使用 MLlib 时出现 NumPy 异常,即使安装了 Numpy

scala - 计算 ALS 模型中的 RMSE

scikit-learn - RandomForestClassifier 中的 feature_importances 是如何确定的?

apache-spark - 从 Cassandra 读取数据时如何控制分区数?

java - 为什么在应用程序中使用 SQLContext 对 Hive 表执行 SQL 失败(但在 spark-shell 中的相同查询工作正常)?

scala - Spark CSV 包无法处理字段中的\n

apache-spark - 如何将Row类型转换为Vector以馈给KMeans

cuda - CUDA内核中的数据结构

r - Tidymodels:如何从训练数据中获得额外的重要性