hadoop - 如何附加到 Hadoop 用户程序中的现有文件？

Question

我有一个 Hadoop 程序，在其中完成映射和缩减阶段后，我需要附加到现有文件(已经在 HDFS 上)。我该怎么做？

Answer 1

在hadoop 0.20.2之后已经支持在hdfs上附加文件，更多信息可用here1和 here2

我发现的附加示例可能对您有所帮助:

FSDataOutputStream stm = fs.create(path, true,  
              conf.getInt("io.file.buffer.size", 4096),  
              (short)3, blocksize);  
String a = make(1000);  
stm.write(a.getBytes());  
stm.sync();