apache-spark - 从Spark Dataframe获取表名称

标签 apache-spark pyspark

如果我具有如下创建的数据框:

df = spark.table("tblName")

无论如何,我可以从df找回tblName吗?

最佳答案

您可以从计划中提取它:

df.logicalPlan().argString().replace("`","")

关于apache-spark - 从Spark Dataframe获取表名称,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52538588/

相关文章:

java - 计算每个重叠间隔数的最佳 MapReduce 算法

hadoop - Apache Spark S3 错误

scala - 缓存和持久化何时执行(因为它们看起来不像操作)?

python - Spark - 如何从 S3 读取多个具有文件名的多个 Json 文件

scala - Spark 斯卡拉 : convert arbitrary N columns into Map

python - 在 PySpark 中计算加权平均值

apache-spark - 如何使用 PySpark 对 Delta 文件的分区动态执行插入覆盖?

apache-spark - java.lang.IllegalArgumentException at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source) with Java 10

apache-spark - 无法使用 pyspark 写入 hdfs

pyspark:将多个数据帧字段传递给 udf