python - 使用python将xgboost模型保存到hdfs

标签 python hadoop pyspark hdfs xgboost

我需要使用python将XGBoost模型保存到hdfs。我试图用xgbm.save_model(path_to_hdfs)做到这一点
但出现以下错误:src/io.cc:37: Please compile with DMLC_USE_HDFS=1 to use hdfs
所以我的问题是如何处理这个错误?也许还有其他方法可以使用python脚本将XGBoost模型存储到hdfs?

最佳答案

如错误所述,您需要使用HDFS支持编译xgboost。

为此,您需要执行以下操作:

git clone --recursive https://github.com/dmlc/xgboost.git
cd xgboost
mkdir build
cmake -DDMLC_USE_HDFS=1 ..
make

安装Python package,然后重试。

关于python - 使用python将xgboost模型保存到hdfs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53225794/

相关文章:

python - PyQt [QTreeWidget] : How to add Radiobutton for items?

hadoop - hive 插入显示错误

java - 文本未转换为String Hadoop Java

python - 如何在具有不同日期格式的列上将字符串转换为日期

python - pil 绘制不同颜色的文本

python - 如何使用消息按钮或链接在 slack 上发送临时应用程序下载链接 itms-service

python - 我可以将对象传递给 argparse.add_argument 吗?

python - 什么是从hadoop导出数据到Oracle句柄删除且停机时间最短的有效方法?

apache-spark - spark.conf.set ("spark.driver.maxResultSize", '6g' ) 没有更新默认值 - PySpark

python - 16 个任务的序列化结果总大小 (1048.5 MB) 大于 spark.driver.maxResultSize (1024.0 MB)