<分区>
我目前正在使用启动 EC2 实例并从二进制文件安装 Hadoop/Spark 的设置脚本。
作者目前已经硬编码了来自this 的镜像。列表,但任何镜像都可以随时更改/删除。
是否有更“有原则”的方式来获取 Apache 项目的镜像/下载位置?
<分区>
我目前正在使用启动 EC2 实例并从二进制文件安装 Hadoop/Spark 的设置脚本。
作者目前已经硬编码了来自this 的镜像。列表,但任何镜像都可以随时更改/删除。
是否有更“有原则”的方式来获取 Apache 项目的镜像/下载位置?
最佳答案
来自 here
wget --trust-server-names "https://www.apache.org/dyn/mirrors/mirrors.cgi?action=download&filename=hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz"
关于apache-spark - 查找事件的 Hadoop 镜像,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51144707/
相关文章:
scala - 如何将-D参数或环境变量传递给Spark作业?
scala - Spark Dataframe基于列索引选择
java - 处理 Hadoop mapreduce 中键之间值的不均匀分布
java - 在shell脚本或perl脚本中定义hadoop FS路径
hadoop - Hive可以安装在Hadoop 2.2上吗?
dataframe - 如何按特定字段对 Spark DataFrame 中的结构类型数组进行排序?
hadoop - 在hadoop 2.0中,configuration.class定义是否已移动?
apache-spark - Spark 抛出 java.io.IOException : Failed to rename when saving part-xxxxx. gz