scala - Spark SQL为Hive构建吗？

Question

我已经下载了spark版本-1.3.1，程序包类型为Hadoop 2.6及更高版本的预构建

现在我想使用Spark Shell在Scala代码下运行，所以我遵循了以下步骤

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

现在的问题是，如果我在像这样的色相浏览器上验证它

select * from src;

然后我得到

table not found exception

这表示未创建表，我如何配置带有Spark Shell的配置单元以使其成功。我想使用SparkSQL，我也需要从Hive读取和写入数据。

我随机听说我们需要将hive-site.xml文件复制到spark目录中的某个位置

有人可以解释一下步骤-SparkSQL和Hive配置

谢谢
杜沙尔

Answer 1

确实，hive-site.xml方向是正确的。看看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables。

听起来您也希望通过spark创建一个配置单元表，为此请参见上述同一文档中的“保存到持久性表”。