hadoop - 如何从机器内部在 google cloud dataproc 上运行配置单元?

标签 hadoop hive google-cloud-platform google-cloud-dataproc

我刚刚创建了一个谷歌云数据处理集群。一些基本的东西对我不起作用:

  1. 我正在尝试从主节点运行 Hive 控制台,但它无法加载除 root 以外的任何用户(看起来有锁,控制台只是卡住了)。

  2. 但即使在使用 root 时,我也会看到一些奇怪的行为:

    • “显示表格;”显示名为“输入”的表
    • 查询该表会引发一个异常,表示未找到该表。
  3. 不清楚哪个用户正在通过网络用户界面创建表格。我创建了一个作业并执行了它,但随后没有通过控制台看到结果。

找不到关于此的任何好的文档 - 有人对此有想法吗?

最佳答案

由于默认的 Metastore 配置,目前运行 hive 命令有些问题。

我建议您使用 beeline相反,它与与 Dataproc Hive 作业相同的 Hive Server 2 通信。您可以通过在 master 上运行 beeline -u jdbc:hive2://localhost:10000 来通过 ssh 使用它。

YARN 应用程序由 Hive Server 2 作为用户“nobody”提交,您可以通过将 -n 标志传递给 beeline 来指定不同的用户,但这与默认权限无关.

关于hadoop - 如何从机器内部在 google cloud dataproc 上运行配置单元?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33218249/

相关文章:

https - 谷歌云 ssl 证书 "The SSL certificate could not be parsed"

hadoop - Log4j 不写入 HDFS/Log4j.properties

hadoop - 无法在 hadoop mapreduce 中使用 KeyValueTextInputFormat 解析输入

java - 在Eclipse中附加源Mapper.class

XML 架构到 Hive 架构

java - Google Speech API 中口语的语言代码检测

java - R Hive 安装问题和故障排除

hadoop - Hive数组与结构

java - HIVE:NoSuchMethodError:org.fusesource.jansi.internal.Kernel32.GetConsoleOutputCP()I

google-cloud-platform - 谷歌云 - 连接 : connection refused with cloud build triggers