r - 将R数据作为csv直接写入s3

标签 r csv amazon-web-services amazon-s3

我希望能够将data.frame \ data.table对象中的数据作为csv文件直接从 \ 直接写入AWS s3的存储桶中,而无需先使用AWS CLI将其写入磁盘。

obj.to.write.s3 <- data.frame(cbind(x1=rnorm(1e6),x2=rnorm(1e6,5,10),x3=rnorm(1e6,20,1)))


目前,我先写入csv,然后上传到现有存储桶,然后使用以下方法删除文件:

fn <- 'new-file-name.csv'
write.csv(obj.to.write.s3,file=fn)
system(paste0('aws s3 ',fn,' s3://my-bucket-name/',fn))
system(paste0('rm ',fn))


我想要一个直接写入s3的函数吗?那可能吗?

最佳答案

aws.s3 0.2.2中添加了s3write_using()(和s3read_using())功能。

它们使事情变得简单得多:

s3write_using(iris, FUN = write.csv,
                    bucket = "bucketname",
                    object = "objectname")

关于r - 将R数据作为csv直接写入s3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30084595/

相关文章:

r - ggplot : plotting more than one function on one plot

r - 如何使用geom_errorbar在堆叠条形图中堆叠误差条?

csv - 为什么 avro 或 Parquet 格式比 csv 更快?

java - Scala Source.fromFile 内存消耗

ruby-on-rails - 使用 Paperclip 从 AWS 下载声音文件

amazon-web-services - 无法从 VPC 中的实例连接到面向 Internet 的 ELB

r - 将冒号和等号分隔的字符串拆分为 R 中的不同列

r - 分配 S3 子集运算符

java - CSVReader 不检查整个文件

amazon-web-services - 安全组导出规则仅允许 ECR 请求