如何动态设置额外的类路径,以便可以从 hadoop 工具类访问 jar?我通过“hadoop jar”运行我的工作。我需要类似“-libjars”开关的东西,不幸的是它只适用于映射器和缩减器,我的工具实现看不到“libjars”提供的 jars
export "HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/path/to/my.jar && hadoop jar ..."似乎使工具可以访问 "my.jar",但随后工作 jar 中的库在 "/lib"文件夹变得无法访问。
最佳答案
此外,如果您与 Hadoop 发行版中包含的某些 jar 有冲突,您可以export HADOOP_USER_CLASSPATH_FIRST=true
。也许对某人有用。
关于jar - 为 hadoop 工具设置额外的类路径,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9006255/