我们可以使用 Spark 作为 Hive 的引擎吗？
我们在 Hive 中有许多遗留系统和代码库，并且希望将 Spark 与 Hive 结合使用。
最好的，
最佳答案
两个选项，如果你想在 spark 上运行 hive，这是可能的，但它是一个非常 alpha 特性:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started
恕我直言，你最好使用 Spark SQL 和指定的 HiveContext，你可以这样使用:
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")
// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)
总而言之，我建议您使用 Spark SQL 加载 Hive 表并重用所有 Hive 查询，但要通过 Spark SQL 的 API。
您可以在这里找到更多信息:http://spark.apache.org/docs/1.2.0/sql-programming-guide.html
这是否回答了您的问题？
问候，
关于hadoop - Spark 作为 Hive 的引擎，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28842487/