java - 将JSON文件从本地复制到HDFS

Question

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class HdfsWriter extends Configured implements Tool {
 public int run(String[] args) throws Exception {
  //String localInputPath = args[0];
  Path outputPath = new Path(args[0]); // ARGUMENT FOR OUTPUT_LOCATION
  Configuration conf = getConf();
  FileSystem fs = FileSystem.get(conf);
  OutputStream os = fs.create(outputPath);
  InputStream is = new BufferedInputStream(new FileInputStream("/home/acadgild/acadgild.txt")); //Data set is getting copied into input stream through buffer mechanism.
  IOUtils.copyBytes(is, os, conf); // Copying the dataset from input stream to output stream
  return 0;
 }

 public static void main(String[] args) throws Exception {
  int returnCode = ToolRunner.run(new HdfsWriter(), args);
  System.exit(returnCode);
 }
}

需要将数据从本地移动到HDFS。

我从另一个博客获得的上述代码不起作用。谁可以帮我这个事。

我还需要使用MR解析Json并按DateTime分组并移至HDFS

Answer 1

Map Reduce是一个分布式作业处理框架

每个本地映射器的

表示运行该映射器的节点上的本地文件系统。

您想要的是从给定节点上的本地读取，将其放入HDFS，然后通过MapReduce处理它。

有多种工具可用于从一个节点的本地复制到HDFS

hdfs放置localPath HdfsPath(Shell脚本)

水槽