hadoop - 在配置单元中执行查询时显示 Tez 顶点错误

标签 hadoop hive tez

谁能解释一下使用 Tez 执行引擎时 Hive 中的 VERTEX_FAILURE 错误是什么?还有它的根本原因是什么?

最佳答案

这个错误是因为 Tez 容器没有分配足够的内存来运行查询。

解决方案:您必须通过调整以下参数来增加资源的内存。

tez.am.resource.memory.mb=4096 
tez.am.java.opts=-server -Xmx3276m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC 
hive.tez.container.size=4096 
hive.tez.java.opts=-server -Xmx3276m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC 

关于hadoop - 在配置单元中执行查询时显示 Tez 顶点错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47811857/

相关文章:

hadoop - 拆分功能在 Cloudera Impala 中不起作用

hadoop - Hive/Tez作业无法开始

hadoop - Hadoop Hive TEZ任务失败(启动容器)

hadoop - 如何从 Windows 在亚马逊的弹性 mapreduce (emr) 集群上运行 mapreduce 作业?

hadoop - 在另一个框架上执行 Pig

hadoop - 如何使用 Spark Map Reduce 将一堆 Parquet 文件联合在一起?

java - Hadoop: reducer 的数量不等于我在程序中设置的数量

hadoop - 调用 Spark SaveAsTextFile 方法时如何获取生成的文件名

regex - 使用\(反斜杠)在HIVE hadoop中查询

hadoop - Hive - 选择计数 (*) 不与 Tez 一起使用但与 MR 一起使用