apache-spark - 如何将表转换为 Spark Dataframe

标签 apache-spark pyspark apache-spark-sql spark-dataframe

在 Spark SQL 中,可以使用以下方法将数据帧作为表进行查询:

sqlContext.registerDataFrameAsTable(df, "mytable")

假设我拥有的是 mytable ,如何将其作为 DataFrame 获取或访问?

最佳答案

那么你可以查询它并将结果保存到一个变量中。检查 SQLContext的方法 sql返回 DataFrame .

df = sqlContext.sql("SELECT * FROM mytable")

关于apache-spark - 如何将表转换为 Spark Dataframe,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39191194/

相关文章:

scala - Spark - Csv 数据用 scala 分割

apache-spark - 在 Spark Streaming (Spark 2.0) 中使用 Kafka

scala - 使用 Spark Scala 计算平均值

python - AWS Glue 和更新复制数据

pyspark - Delta Time Travel 带有 SQL 错误无关输入 '0' 期望 {<EOF>, ';' }(第 1 行,位置 38)

python - 如何在 Spark DataFrame 中添加常量列?

python - 使用 PySpark 将复杂 RDD 转换为扁平化 RDD

sql - 列模式的 Spark SQL 区分大小写过滤器

apache-spark - Spark scala从Dataframe创建列,其值取决于日期时间范围

apache-spark - Pyspark 找不到数据源 : kafka