hadoop - 如何在 Tez 上为 Pig 设置队列名称?

标签 hadoop mapreduce apache-pig hadoop-yarn tez

在 TEZ 上运行 Pig 时如何从命令行设置队列名称?

我想从命令行运行 Pig 脚本,例如:

pig -useHCatalog -p INPUT=input_dir \
                                 -p 'OUT_FILE=out_file \
                                 -p UDF_PATH=udf.py \
                                 -f ./script_name.pig \
                                 -Dmapred.job.queue.name=my_queue_name \
                                 -x tez;

我尝试了以下设置:

-tez.job.queue.name=my_queue_name
-q mapreduce.job.queuename=my_queue_name
-Dmapred.job.queue.name=my_queue_name
-q my_queue_name

但是,我的作业没有在我指定的队列中运行。

谢谢!

最佳答案

属性是tez.queue.name .

<property>
    <name>tez.queue.name</name>
    <value>myqueue</value>
</property> 

那么试试

-tez.queue.name=my_queue_name

关于hadoop - 如何在 Tez 上为 Pig 设置队列名称?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38619884/

相关文章:

hadoop - Hive 无法从 hdfs 读取十进制值

java - 使用 Hadoop 处理大量小文件

hadoop - 如何将xml mahout分类器jar添加到hadoop集群中,因为我不想将该库添加到hadoop classpath中

hadoop - 每个映射器执行的任务

hadoop - MapReduce 中的布隆过滤器

hadoop - 如何使用hadoop解决以下用例?

hadoop - hive , pig , map 减少用例之间的区别

sql - Hive - 检查表中每一行中的数组是否包含另一个表中列中的任何匹配数据

shell - 你如何移动文件而不是 hdfs 中的目录?

hadoop - hadoop_starting daemon_no文件或目录错误