hadoop - 运行 map 减少作业时使用-libjars时出错

Question

我正在尝试使用hadoop jar命令运行 map 缩小作业。
我正在尝试使用-libjars选项包括外部库。
我当前正在运行的命令是
hadoop jar mapR.jar com.ms.hadoop.poc.CsvParser -libjars google-gson.jar Test1.txt输出
但我将其作为输出
用法:[输入] [输出]
谁能帮我一下。
我也在类路径中包括了外部库。

Answer 1

您可以列出main(String args[])方法的内容吗？您是否正在使用ToolRunner界面启动工作？ -libjars参数的解析是GenericOptionsParser的函数，可通过ToolRunner实用工具类为您调用该函数:

public class Driver extends Configured implements Tool {
    public static void main(String args[]) {
        System.exit(ToolRunner.run(new Driver(), args)));
    }

    public int run(String args[]) {
        Job job = new Job(getConf());
        Configuration conf = job.getConfiguration();

        // other job configuration

        return job.waitForCompletion(true) ? 0 : 1;
    }
}