apache-spark - spark.table ("TABLE A") 和 spark.read 之间有什么区别。 ("TABLE A")

标签 apache-spark pyspark apache-spark-sql

问题作为标题,我正在学习sparkSQL,但我无法很好地理解它们之间的区别。谢谢。

最佳答案

spark.table之间没有区别& spark.read.table功能。
内部 spark.read.table再次拨打 spark.table功能。
检查下面的代码。spark.table里面有package org.apache.spark.sql.SparkSession SparkSession

package org.apache.spark.sql.SparkSession

def table(tableName: String): DataFrame = {
  table(sessionState.sqlParser.parseTableIdentifier(tableName))
}

spark.read.table功能在 package org.apache.spark.sql.DataFrameReader 中可用&又打来了spark.table功能。
DataFrameReader
package org.apache.spark.sql.DataFrameReader

def table(tableName: String): DataFrame = {
   assertNoSpecifiedSchema("table")
   sparkSession.table(tableName)
}

关于apache-spark - spark.table ("TABLE A") 和 spark.read 之间有什么区别。 ("TABLE A"),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62887381/

相关文章:

python - pyspark广播变量如何工作

python - 在 PySpark 中存储大型 SparseMatrix 的最佳有效格式是什么

python - Spark : Why is my UDF not called in rdd map?

python - 如何使用PySpark获取最高tf-idf对应的单词?

python - 将 pyspark 数据框中的两列转换为一个 python 字典

scala - 如何编写嵌套查询?

apache-spark - 为什么配置 Databricks Connect 后 "databricks-connect test"不起作用?

spring - 分布式计算的独立数据访问层

json - 将 JSON 对象数组转换为 pyspark 中的字符串

java - 如何通过 Java 在 Apache Spark 中注册不带参数的 UDF