我不明白 S3 和 EMRFS 之间的细微差别。我们应该将 EMRFS 视为允许从 Hadoop 应用程序写入/读取 S3 的库和 API 的集合,还是更多?和 this官方文档也没有帮助。
最佳答案
EMRFS 是一个实现 hadoops FileSystem api 的库。 EMRFS 使 S3 看起来像 hdfs 或本地文件系统。然后它被 hadoop 生态系统中的许多应用程序使用,例如 spark 和 hive。例如,这就是您将如何使用 EMRFS 从 spark 中的 S3 读取
val df = spark.read.parquet("S3://s3-bucket/path/to/folder/")
df.write.csv("s3://s3-bucket/path/to/output/")
关于hadoop - S3 和 EMRFS 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57030286/