pyspark - 如何检查 PySpark 中是否存在临时 View ?

标签 pyspark

我了解如何在 PySpark 中检查表是否存在:

>>> spark.catalog.setCurrentDatabase("staging")
>>> 'test_table' in sqlContext.tableNames()
True

但是 View 呢?
如果它像这样创建它:
df = sqlContext.sql("SELECT * FROM staging.test_table")
df.createOrReplaceTempView("test_view")
df.persist(p.persistLevel)

如何检查我的代码后面是否存在“测试 View ”?

最佳答案

您可以使用 sqlContext.tableNames 和 sqlContext.tables

>>> sqlContext.registerDataFrameAsTable(df, "table1")
>>> "table1" in sqlContext.tableNames()
True
>>> "table1" in sqlContext.tableNames("default")
True

关于pyspark - 如何检查 PySpark 中是否存在临时 View ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52766215/

相关文章:

apache-spark - 数据框检查点示例 Pyspark

amazon-web-services - 使用 AWS Glue 时是否有可以访问的临时文件夹?

python - 如何在 PySpark 中将字典转换为数据帧

python - 使用 Apache Spark 将键值对缩减为键列表对

apache-spark - 在 Jupyter Notebook 中设置 PySpark executor.memory 和 executor.core

azure - maxRecordsPerFile 在 Azure Data Bricks 中不起作用

python-3.x - 处理 pyspark 数据框中的空值

python - 如何在Hadoop上运行pySpark

python - pyspark 中出现错误,udf : You must build Spark with Hive. 导出 'SPARK_HIVE=true' 并运行 build/sbt 程序集

python - 为什么 DataFrame 中缺少分区键列