我正在尝试保存 ML Pipeline 生成的数千个模型。如答案中所示 here ，模型可以保存如下:
import java.io._
def saveModel(name: String, model: PipelineModel) = {
val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name"))
oos.writeObject(model)
oos.close
}
schools.zip(bySchoolArrayModels).foreach{
case (name, model) => saveModel(name, Model)
}
我已经尝试使用 s3://some/path/$name 和 /user/hadoop/some/path/$name 因为我希望模型最终保存到 amazon s3，但它们都失败，并显示消息指示找不到路径。
如何将模型保存到 Amazon S3？
最佳答案
将模型保存到 HDFS 的一种方法如下:
// persist model to HDFS
sc.parallelize(Seq(model), 1).saveAsObjectFile("hdfs:///user/root/linReg.model")
然后可以将保存的模型加载为:
val linRegModel = sc.objectFile[LinearRegressionModel]("linReg.model").first()
有关详细信息，请参阅 ( ref)
关于java - 如何将模型从 ML Pipeline 保存到 S3 或 HDFS？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32292254/