java - Log4j 直接记录到 elasticsearch 服务器

Question

我对如何将我的日志条目直接放入 elasticsearch(而不是 logstash)感到有点困惑。到目前为止，我发现了一些允许将日志发送到远程主机以及 ConversionPattern 的附加程序(log4j.appender.SocketAppender、log4j.appender.server 等) 似乎允许我们将日志转换为“弹性友好”格式的可能性，但这种方法看起来很奇怪......或者我错了吗？这是将日志发送到 elastic 的一种方式吗？

到目前为止我有这样的配置:

log4j.rootLogger=DEBUG, server
log4j.appender.server=org.apache.log4j.net.SocketAppender
log4j.appender.server.Port=9200
log4j.appender.server.RemoteHost=localhost
log4j.appender.server.ReconnectionDelay=10000
log4j.appender.server.layout.ConversionPattern={"debug_level":"%p","debug_timestamp":"%d{ISO8601}","debug_thread":"%t","debug_file":"%F", "debug_line":"%L","debug_message":"%m"}%n

但是我得到一个错误:

log4j:WARN Detected problem with connection: java.net.SocketException: Broken pipe (Write failed)

我找不到任何有用的例子，所以我不明白我做错了什么以及如何解决它。谢谢。

Answer 1

我在这里写了这个 appender Log4J2 Elastic REST Appender如果你想使用它。它能够在将日志事件发送到 Elastic 之前根据时间和/或事件数量缓冲日志事件(使用 _bulk API 以便一次性发送所有日志事件)。 它已发布到 Maven Central，因此非常简单。