r - SparkR 和 sparklyr 之间导入 Parquet 文件所需的时间差异

Question

我正在使用 SparkR 在数据块中导入 Parquet 文件和 sparklyr .data1 = SparkR::read.df("dbfs:/.../data202007*", source = "parquet", header = TRUE, inferSchema = TRUE)data1 = sparklyr::spark_read_parquet(sc = sc, path = "dbfs:/.../data202007*")导入的时间差很大:SparkR 为 6 秒对比 sparklyr 的 11 分钟!
有没有办法减少在 sparklyr 中花费的时间？ ?我比较熟悉dplyr语法，因此 sparklyr以及。

Answer 1

默认 sparklyr::spark_read_parquet缓存结果 ( memory = TRUE )。
比较以下缓存结果:

SparkR::cache(SparkR::read.df("dbfs:/.../data202007*", source = "parquet", header = TRUE, inferSchema = TRUE))

sparklyr::spark_read_parquet(sc = sc, path = "dbfs:/.../data202007*")

这对于未缓存的:

SparkR::read.df("dbfs:/.../data202007*", source = "parquet", header = TRUE, inferSchema = TRUE)`

sparklyr::spark_read_parquet(sc = sc, path = "dbfs:/.../data202007*", memory = FALSE)