amazon-web-services - 如何编写引导操作以将文件下载到 EMR 中的每个节点?

标签 amazon-web-services amazon-emr

我正在尝试将 postgres 驱动程序下载到集群的每个节点。我编写了以下引导操作,但似乎没有用:

#!/bin/bash
aws s3 cp s3://path/to/driver/jars/postgresql-9.4.1210.jre7.jar .

我知道这一定很容易做到,但我似乎找不到明显的例子。

最佳答案

您的引导操作看起来不错并且可能正在运行。只是您可能假设它将文件下载到您通过 ssh 连接到集群时所在的同一目录,即/home/hadoop,但事实并非如此。如果我没记错的话,引导操作的工作目录在/var/lib/bootstrap-actions 下。

把“.”换成“.”会更容易找到你下载的文件。类似于“/home/hadoop”。您还可以创建一些其他新目录,作为此脚本的一部分将文件下载到其中(如有必要,使用“sudo mkdir”和“sudo chown”)。

关于amazon-web-services - 如何编写引导操作以将文件下载到 EMR 中的每个节点?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39603804/

相关文章:

amazon-web-services - 获取 Redshift `STL_load_errors` 错误的表信息

java - 从 Amazon EBS 读取文件

hadoop - 从Beeline连接时,Hive查询在Tez上失败,但在Map-Reduce上成功

amazon-web-services - 具有多路径的 AWS API 网关自定义域

amazon-web-services - 如何从现有 API 网关创建 AWS Cloudformation Stack?

amazon-web-services - CloudFormation 动态引用不同区域的 Secret

java - 多个文件作为 Amazon Elastic MapReduce 的输入

java - 如何在Amazon EMR中运行WordCount?

mongodb - "ERROR 6000, Output location validation failed"在 EMR 上使用 PIG MongoDB-Hadoop 连接器

apache-spark - javax.servlet.ServletException : java. util.NoSuchElementException : None. 得到