hadoop - 根据日志级别写入HDFS

Question

我正在使用HDFS bolt 将日志消息写入HDFS。现在，所有具有不同日志级别(如WARN，DEBUG，INFO，ERROR)的日志消息都将写入同一文件。如何在HDFS中的一个文件中写入INFO消息，在另一个文件中写入WARN消息，在另一个文件中单独写入ERROR消息？我正在使用log4j Kafka附加程序。基本上，我需要根据INFO，ERROR和DEBUG等日志级别将日志消息写入不同的文件，

Answer 1

直接的解决方案应该是使用四个HdfsBolt和一个附加的“LogSplitBolt”，它发出四个输出流(每个日志级别一个):

public class LogSplitBolt {
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        Fields schema = new Fields(...);
        declarer.declareStream("debug", schema);
        declarer.declareStream("error", schema);
        declarer.declareStream("warnings", schema);
        declarer.declareStream("info", schema);
   }

   public void execute(Tuple input) {
       String logLevel = input.getXXX(...); // get log level
       // use logLevel as output streamId
       collector.emit(logLevel, new Values(input.getValues());
    }
}

构建拓扑时，不同的HdfsBolt订阅不同的流:

builder.addBolt("splitter", new LogSplitBolt());
builder.addbolt("writeDebug", new HdfsBolt(...)).localOfShuffle("debug", "splitter");
builder.addbolt("writeError", new HdfsBolt(...)).localOfShuffle("error", "splitter");
builder.addbolt("writeWarning", new HdfsBolt(...)).localOfShuffle("warning", "splitter");
builder.addbolt("writeInfo", new HdfsBolt(...)).localOfShuffle("info", "splitter");

当然，每个HdfsBolt在HDFS中都配置为自己的文件。