apache-spark - 使用 Spark/Spark SQL/Java 连接到 HCatalog

标签 apache-spark hive hiveql apache-spark-sql hcatalog

如何使用 Spark/Spark SQL/Java 连接到 HCatalog 以获取存储在 Hive [Hive metastore] 中的数据

我们需要为此使用 HiveContext() 吗?如何配置 Hcatalog?

最佳答案

您可以将现有的 hive-site.xml 复制到 Spark 的配置中,然后创建一个 HiveContext。参见 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables .

关于apache-spark - 使用 Spark/Spark SQL/Java 连接到 HCatalog,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32157618/

相关文章:

hadoop - 运行 Spark 作业时出现奇怪的错误

hadoop - 停止配置单元将临时文件写入 s3

hadoop - Hive QL - 限制每个项目的行数

excel - 创建 Hive 表并从 xls 文件插入数据

sql - Spark/Scala - 当一列为 NULL 时比较数据框中的两列

java - 如何在 Java 中从另一个数据帧平面映射一个数据帧?

sql - 在 hive 中查找一个月的最后一天

mysql - 在 sql 中选择具有重复多次的每个 ID 的最新日期的行

hadoop - 无法将数据加载为 parquet 文件格式?

apache-spark - 类型错误 : Column is not iterable - How to iterate over ArrayType()?