python-2.7 - 如何使用 PySpark 检查 Hive 表是否存在

标签 python-2.7 pyspark apache-spark-sql

我想检查一个表 schemaname.tablename使用 pysparkSQL 存在于 Hive 中.

Scala 中有一个选项 spark.catalog.tableExists("schemaname.tablename") .但是,pySpark 无法提供相同的功能.

使用 PySpark 寻找一种快速且干净的方法来检查 Hive 表是否存在

最佳答案

在 PySpark 中,可以按如下方式完成:

spark.catalog._jcatalog.tableExists("schemaname.tablename")

关于python-2.7 - 如何使用 PySpark 检查 Hive 表是否存在,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58067388/

相关文章:

python - 如何将数据帧中的连接值插入 Pyspark 中的另一个数据帧?

python-2.7 - jinja 模板中列表的长度,其中列表是 DBSession.query 的结果

python - 线程启动时出现未处理的异常 python manage.py runserver

python - 从 Python 中的字符串中删除所有十六进制字符

azure - 我如何使用 pyspark 显示配置单元表

apache-spark - Spark.sql.autoBroadcastJoinThreshold 是否适用于使用数据集的联接运算符的联接?

python - 约束不匹配错误

python - PySpark:AttributeError: 'PipelineModel'对象没有属性 'clusterCenters'

python - 什么相当于 scala.util.Try 在 pyspark 中?

python - 我们如何在pyspark中使用dense_rank()函数?