r - sparklyr 更改所有列名 spark dataframe

标签 r apache-spark dataframe dplyr sparklyr

我打算更改所有列名。当前的重命名或选择操作太费力了。我不知道是否有人有更好的解决方案。示例如下:

df <- data.frame(oldname1 = LETTERS, oldname2 = 1,...oldname200 = "APPLE")
df_tbl <- copy_to(sc,df,"df")
newnamelist <- paste("Name", 1:200, sep ="_")

如何将 newnamelist 指定为新的 colnames?我可能做不到:

df_new <- df_tbl %>% dplyr::select(Name_1 = oldname1, Name_2 = oldname2,....)

最佳答案

您可以将 select_.dots 一起使用:

df <- copy_to(sc, iris)

newnames <- paste("Name", 1:5, sep="_")

df %>% select_(.dots=setNames(colnames(df), newnames))
# Source:   lazy query [?? x 5]
# Database: spark_connection
   Name_1 Name_2 Name_3 Name_4 Name_5
    <dbl>  <dbl>  <dbl>  <dbl>  <chr>
 1    5.1    3.5    1.4    0.2 setosa
 2    4.9    3.0    1.4    0.2 setosa
 3    4.7    3.2    1.3    0.2 setosa
 4    4.6    3.1    1.5    0.2 setosa
 5    5.0    3.6    1.4    0.2 setosa
 6    5.4    3.9    1.7    0.4 setosa
 7    4.6    3.4    1.4    0.3 setosa
 8    5.0    3.4    1.5    0.2 setosa
 9    4.4    2.9    1.4    0.2 setosa
10    4.9    3.1    1.5    0.1 setosa

您还可以使用!!!选择:

library(rlang)
library(purrr)

df %>% select(!!! setNames(map(colnames(df), parse_quosure), newnames))
# Source:   lazy query [?? x 5]
# Database: spark_connection
   Name_1 Name_2 Name_3 Name_4 Name_5
    <dbl>  <dbl>  <dbl>  <dbl>  <chr>
 1    5.1    3.5    1.4    0.2 setosa
 2    4.9    3.0    1.4    0.2 setosa
 3    4.7    3.2    1.3    0.2 setosa
 4    4.6    3.1    1.5    0.2 setosa
 5    5.0    3.6    1.4    0.2 setosa
 6    5.4    3.9    1.7    0.4 setosa
 7    4.6    3.4    1.4    0.3 setosa
 8    5.0    3.4    1.5    0.2 setosa
 9    4.4    2.9    1.4    0.2 setosa
10    4.9    3.1    1.5    0.1 setosa
# ... with more rows

关于r - sparklyr 更改所有列名 spark dataframe,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45622262/

相关文章:

r - 创建一组同事的 Windows 7 PC 以在 R 中进行并行处理?

删除具有正值的列?

html - 如何向 RMarkdown 中的内联词添加工具提示?

excel - 如何在 Scala/Spark 中从多个 DataFrame 创建包含多个工作表的 Excel 文件?

r - 如何在64位模式下运行sparkR

r - 计算每个日期的单元格数量

regex - 捕获组中带有贪婪修饰符的奇怪行为

java - Spark 强制 log4j

r - 检查每行右侧的列是否具有特定值

python - Pandas 嵌套 for 循环在创建的不同数据帧上插入多个数据