hadoop - 在没有输出文件的情况下运行 Hadoop 作业

标签 hadoop

是否可以在不指定输出文件的情况下运行 hadoop 作业? 当我尝试运行 hadoop 作业时,未抛出指定输出文件的异常。 任何人都可以使用 Java 给出任何程序吗?

我正在将 reduce 处理的数据写入非关系数据库,因此我不再需要它写入 HDFS。

最佳答案

不幸的是,你不能真正做到这一点。编写输出是框架的一部分。当您在框架之外工作时,您基本上只需要处理后果。

您可以使用 NullOutputFormat ,它不会将任何数据写入 HDFS。不过,我认为它仍然会创建文件夹。您总是可以让 Hadoop 创建文件夹,然后 delete it .

关于hadoop - 在没有输出文件的情况下运行 Hadoop 作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12707726/

相关文章:

hadoop - SPSS Modeler,Hadoop

hadoop - 需要将Informatica与Hive集成

hadoop - HDFS 排除 AddblockRequestProto 中的数据节点

hadoop - 第一个hadoop项目报错: "Input path does not exist"

hadoop - 文件压缩格式和容器文件格式

hadoop - 将文件拆分为小文件并在缩减阶段生成这些文件的名称的映射作业

hadoop - 修改wordcount源代码:hadoop示例。如何将定界符更改为 “.”, “,”或 “”?

scala - Scala 并发模型上下文中的 Clojure future

hadoop - Hive 中的 UpdateInputAccessTimeHook 没有实现 Hook 接口(interface),所以它不能从 Hive 中使用吗?

hadoop - 为什么我的任务不能在 Pig 中并行运行?