python - 如何将 pyspark.sql.dataframe.DataFrame 转换回 databricks notebook 中的 sql 表

标签 python sql apache-spark pyspark databricks

我通过执行以下行创建了 pyspark.sql.dataframe.DataFrame 类型的数据框: dataframe = sqlContext.sql("select * from my_data_table")

如何将其转换回可以运行 sql 查询的 sparksql 表?

最佳答案

您可以使用 createReplaceTempView 创建表格.在你的情况下它会是这样的:

dataframe.createOrReplaceTempView("mytable")

在此之后,您可以使用 SQL 查询您的 mytable

如果你的 spark 版本是 ≤ 1.6.2 你可以使用 registerTempTable

关于python - 如何将 pyspark.sql.dataframe.DataFrame 转换回 databricks notebook 中的 sql 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39048777/

相关文章:

apache-spark - Spark 作为 HDFS 的数据摄取/载入

python - pyinstaller 一个文件 --no-console 不起作用 "Fatal Error"

sql - (已关闭)如何将group by与子查询哪个连接表一起使用?

mysql - 跨服务器,标准 SQL 生成逗号分隔列表

mysql - 插入和查询大量数据MySQL的最佳方式

apache-spark - Spark Mllib kmeans 示例,使用数据框而不是 textFile

apache-spark - 计算pyspark中每组成对连续行之间的时间差

python - 如何使 Python 生成器尽可能快?

python - 在 Matplotlib 3D 绘图中获取视角/相机角度?

python - Python 中的 YouTube 下载链接生成器