hadoop - Impala 查询停留在执行状态

标签 hadoop impala cloudera-manager

我有一个在 Hue 中成功运行的查询 CREATE TABLE foobar AS SELECT ...(返回的状态是 Inserted 986571 row(s))并需要几个秒完成。然而,在 Cloudera Manager 中,它的状态 - 超过 10 分钟后 - 仍然显示 Executing

这是 Cloudera Manager 中的错误还是此查询实际上仍在运行?

最佳答案

当 Hue 执行查询时,它会使查询保持打开状态,以便用户可以按照自己的节奏对结果进行分页。 (当然,这种行为对 DDL 语句不是很有用。)这意味着 Impala 仍然认为查询正在执行,即使它没有主动使用 CPU 周期(请记住它仍在占用内存!)。如果明确告知,或者页面/ session 关闭时,Hue 将关闭查询,例如使用 hue 命令:

> build/env/bin/hue close_queries --help

请注意,Impala 有一个查询选项,可以在一段时间后自动“超时”查询,请参阅 query_timeout_s . Hue 默认将此设置为 10 分钟,但您可以在 hue.ini 设置中覆盖它。

需要注意的一件事是,当查询“超时”时,它们会被取消但不会关闭,即查询将保持“运行中”并带有已取消 状态。这样做的原因是用户(或工具)可以继续观察查询元数据(例如查询配置文件、状态等),如果查询完全关闭,这些元数据将不可用,因此从 impalad 注销。不幸的是,这些被取消的查询可能仍然持有一些不可忽略的资源,但这将通过 IMPALA-1575 修复。 .

更多信息:Hive and Impala queries life cycle

关于hadoop - Impala 查询停留在执行状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29259008/

相关文章:

sql - 在 Impala 中可以一次删除多个 View 吗

hadoop - Cloudera Manager 和 CDH 的最新版本是什么?

hadoop - hadoop-streaming:将输出写入不同的文件

将数据从另一个表插入到 HIVE 中的选定列中

java - 如何在执行作业时将 OracleDriver 添加到 hadoop 类路径?

amazon-web-services - 如何设置支持Impala的EMR集群?

hadoop - 从 Cloudera 中删除失效主机

hadoop - 如何从 guest 操作系统打开 Hue 门户?

java - 如何从 java 代码启动 Flume 代理

c# - 是否可以在Azure上远程运行流式 map 简化作业?