python - Sagemaker 本地模式 : RuntimeError: Giving up, 端点:未正确启动

Question

在本地模式下运行 sagemaker 时。 我正在使用 docker 容器在本地模式下尝试推理端点。但是，一旦我的 model.tar.gz 文件超过一定大小，即大约 200 mb，部署就会失败并返回错误: 运行时错误:放弃，端点:未正确启动

当我将其部署在 sagemaker 实例上时，它工作正常。 您知道我是否可以做一些事情，也许我可以更改一些 docker 设置以确保本地部署也适用于更大的 model.tar.gz？

Answer 1

您还可以自行运行普通 docker 命令来模拟托管环境，而不是使用 SageMaker SDK 本地模式:

如:

1. 启动“本地端点”

image=$1

docker run -v $(pwd)/test_dir:/opt/ml -p 8080:8080 --rm ${image} serve

调用“本地端点”

payload=$1
content=${2:-text/csv}

curl --data-binary @${payload} -H "Content-Type: ${content}" -v http://localhost:8080/invocations

https://github.com/aws/amazon-sagemaker-examples/tree/main/advanced_functionality/scikit_bring_your_own/container/local_test