sql - 如何在Apache Spark中执行SQL查询

Question

我是Apache Spark的新手。

我已经在本地Windows机器上配置了spark 2.0.2。
我已经完成了带有 Spark 的“字数统计”示例。

现在，我在执行SQL查询时遇到了问题。
我已经搜索了相同的内容，但没有得到正确的指导。

Answer 1

因此，您需要做这些事情才能完成它，

在Spark 2.0.2中，我们有SparkSession，其中包含SparkContext实例以及sqlContext实例。

因此，步骤将是:

步骤1:创建SparkSession

val spark = SparkSession.builder().appName("MyApp").master("local[*]").getOrCreate()

步骤2:在您的情况下，从数据库中加载Mysql。

val loadedData=spark
      .read
      .format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/mydatabase")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("mytable", "mydatabase")
      .option("user", "root")
      .option("password", "toor")
      .load().createOrReplaceTempView("mytable")

步骤3:现在，您可以像在SqlDatabase中一样运行SqlQuery。

val dataFrame=spark.sql("Select * from mytable")
dataFrame.show()

附注:如果您使用DataFrame Api会更好，或者如果使用DataSet Api会更好，但是对于那些您需要阅读文档。

链接到文档:https://spark.apache.org/docs/2.0.0/api/scala/index.html#org.apache.spark.sql.Dataset