r - 有没有办法使用 spark_write_csv 在 sparklyr 中为 csv 文件设置名称?

标签 r sparklyr

我需要将数据框写入单个 csv 文件,并发现我可以使用 sdf_coalesce()将文件变成单个分区。我想知道是否有任何方法可以更改 spark_write_csv() 生成的 csv 文件的名称?

提前致谢。

最佳答案

不可以。文件名是自动生成的,在不同的任务中是唯一的,并且不可配置。如果您需要特定名称,您可以使用特定于正在使用的文件系统/存储解决方案的实用程序重命名输出。

关于r - 有没有办法使用 spark_write_csv 在 sparklyr 中为 csv 文件设置名称?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49652527/

相关文章:

r - sparklyr 中的完整数据框

r - 如何使用最新版本的 dplyr (1.0)、sparklyr (1.4) 和 SPARK (3.0)/Hadoop (2.7) 从 Spark 数据帧中提取每组的前 n 行?

R:通过 *list* 列连接两个表(tibbles)

r - 如何不使用 R 绘制时间序列中的间隙

r - 扩展 R S4 对象以具有新插槽并保持原始对象以相同方式工作

r - Illegal column names 错误但列名是合法的

r - 聚集在闪闪发光的

r - 并行运行 JAGS 时的 DIC 和 PED

r - 删除sparklyr中的NA列

R - 如何使用sparklyr复制spark数据框中的行