java - 在 Sqoop 的情况下,映射器输出如何写入 HDFS?

标签 java hadoop mapreduce hdfs sqoop

据我了解 Hadoop Map-Reduce 作业,映射器输出写入本地存储而不是 HDFS,因为它最终是一次性数据,因此没有必要存储在 HDFS 中。

但正如我所见,Sqoop 映射器输出文件 part-m-00000 被写入 HDFS。所以我怀疑 Hadoop 中是否有一些设置来控制映射器输出写入的位置?并且默认设置为本地存储?

最佳答案

如果没有缩减器,则映射器输出将写入 HDFS。即使在这种情况下,映射器输出也不会直接写入 HDFS,而是写入单个节点磁盘,然后复制到 HDFS。

Sqoop 是一种场景,在这种情况下,它通常是仅映射作业,您希望从表中并行获取数据,但不需要在任何情况下减少数据。

检查此链接:Identity Reducer vs zero reducer

关于java - 在 Sqoop 的情况下,映射器输出如何写入 HDFS?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30245572/

相关文章:

java - 如何使用 Falcon RESTful API 获取 URI

java - 读取fragment中的文件并将其放入listview中

hadoop - 如何为hadoop 1.2.1集群配置主/从计算机

java - 解析CSV时出现Hadoop MapReduce错误

streaming - Hadoop 或 Hadoop Streaming for MapReduce on AWS

python - 减少(键,值),其中值是 Spark 中的字典

java - 文件直到最后才被读取

java - Android 在空 EText 上崩溃

hadoop - Pig passwd指的是什么?

hadoop - 确定配置单元表中的存储桶数?