python - 将经过训练的 xgboost 分类器从 AWS s3 上传到 EMR

标签 python amazon-emr

我在 S3 中有一个经过训练的 xgboost 分类器对象,我正尝试将其上传到 Pyspark EMR 笔记本。

我试过了

s3 = boto3.client('s3')
classifier = s3.download_file("###data-science", "classifier.model", "model")

我得到了错误

[Errno 13] Permission denied: 'model.3Cd9D2bD' Traceback (most recent call last):

我知道,但是我有对 S3 的读写权限,所以不确定我为什么会得到这个。

我也试过

bst = xgb.Booster()  
classifier = bst.load_model("s3://###data-science/xgb_classifier.model")

我得到了错误

[16:16:58] /workspace/dmlc-core/src/io.cc:57: Please compile with DMLC_USE_S3=1 to use S3 Stack trace:

我能得到一些关于如何补救这个问题的建议吗?没想到上传对象这么难

最佳答案

您是否在 EMR 上运行 deploy_mode = cluster?

关于python - 将经过训练的 xgboost 分类器从 AWS s3 上传到 EMR,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59216936/

相关文章:

python - 将文件保存到 Amazon Web Service s3

python - find_elements_by_partial_link_text 不会找到元素

Amazon Elastic MapReduce 上的 Apache Hama

amazon-web-services - 在 EMR 4.0 中启动 Spark 时出错

python - 创建一个字典列表,每一步仅修改一个值

amazon-web-services - AWS EMR - 因错误而终止 在主实例上应用程序配置失败

scala - 将 Parquet 文件写入 s3 时出现奇怪的错误

python - 如何在 Pandas 的所有适用行中复制 groupby 的平均值

python - 找不到命令 : django-admin. py

python - 多索引数据帧的基于整数的 (K,N) 索引