DataSet<Row> dataSet = sqlContext.sql("some query");
dataSet.registerTempTable("temp_table");
dataset.cache(); // cache 1
sqlContext.cacheTable("temp_table"); // cache 2
所以，我的问题是 Spark 只会缓存数据集一次，还是同一数据集有两个副本，一个作为数据集(缓存 1)，另一个作为表(缓存 2)
最佳答案
不会，或者至少在最近的版本中不会:
scala> val df = spark.range(1)
df: org.apache.spark.sql.Dataset[Long] = [id: bigint]
scala> df.cache
res0: df.type = [id: bigint]
scala> df.createOrReplaceTempView("df")
scala> spark.catalog.cacheTable("df")
2018-01-23 12:33:48 WARN CacheManager:66 - Asked to cache already cached data.
关于java - 如果我们缓存一个DataSet，然后将同一个DataSet缓存为表，Spark会缓存数据两次吗，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49974684/