我正在尝试构建一个级联作业,它使用 Hive 来执行一些转换。 cascading-hive项目似乎是一个很好的起点。我正在运行 Gradle 2.6 和 Java 1.8。根据文档,我运行了以下命令:
git clone https://github.com/Cascading/cascading-hive
cd cascading-hive
gradle install
不幸的是,这返回了一个错误。我的本地 Maven 存储库中缺少 jar
:
FAILURE: Build failed with an exception.
* What went wrong:
Could not resolve all dependencies for configuration ':testCompile'.
> Could not find hadoop-common-tests.jar (org.apache.hadoop:hadoop-common:2.6.0).
Searched in the following locations:
file:/Users/awoolford/.m2/repository/org/apache/hadoop/hadoop-common/2.6.0/hadoop-common-2.6.0-tests.jar
我在 Maven Central 上搜索了这个 jar
但它不在那里。
您能看出构建级联配置单元需要做什么吗?
更新
我快速查看了 Cloudera 提供的 jar,找到了该 jar
的版本(例如 /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/hadoop-common-2.6.0-cdh5.4.4-tests.jar
),并将其复制到 /Users/awoolford/.m2/存储库/org/apache/hadoop/hadoop-common/2.6.0/hadoop-common-2.6.0-tests.jar
。 gradle install
现在可以成功执行,尽管这看起来不是一个好的通用解决方案。
最佳答案
Hadoop 似乎没有正确下载到本地存储库中。我无法准确指出您的情况的具体问题是什么。请参阅How can I force gradle to redownload dependencies?有关如何清除的建议。
PS。 该 jar 可在 Maven 中央存储库中找到。看 http://search.maven.org/#artifactdetails%7Corg.apache.hadoop%7Chadoop-common%7C2.6.0%7Cjar关于java - Gradle:由于缺少 jar,因此不会构建级联配置单元,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32053242/