我有几个笔记本，它们由使用造纸厂的“驱动程序”笔记本运行。这些笔记本电脑使用剪贴簿库向驾驶员传达信息。然后，驱动程序将此信息作为参数传递给其他笔记本。我想使用 EMR Notebooks 来优化这个“笔记本管道”的执行效率。 AWS EMR Notebooks 是否支持剪贴簿和 papermill，或者我需要重构我的笔记本吗？
最佳答案
到目前为止，还没有。你不能直接这样做。 您可以做的(我们正在做的)如下:
- 使用
hadoop用户在 EMR 主节点上创建 Python 环境 - 安装sparkmagic在您的环境中并按照 Sparkmagic 的 README.md 文件中的描述配置所有内核
- 将您的笔记本复制到主节点/直接从 s3 位置使用它
安装 papermill 并使用 papermill 运行:
papermill s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb -p param=1
关于python - 我可以将 Papermill 和 Scrapbook 与 AWS EMR Notebooks 结合使用吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59902055/