elasticsearch - 用于转发日志的 Filebeat 与 Rsyslog

标签 elasticsearch logstash rsyslog filebeat

我目前正在使用 filebeat 将日志转发到 logstash,然后再转发到 elasticsearch。

现在,我正在考虑通过 rsyslog 将日志转发到 logstash。这样做的好处是,我不需要在每台服务器上安装和配置 filebeat,而且我可以转发易于解析和过滤的 JSON 格式的日志。

我可以使用 TCP/UDP 通过 rsyslog 将日志转发到 logstash。

我想知道 rsyslog 相对于 filebeat 在性能、可靠性和易用性方面的更多优点和缺点。

最佳答案

当您将 Beats 与 Logstash 结合使用时,您会遇到一种称为“背压管理”的东西 - 例如,如果网络出现问题,Beats 将停止向 Logstash 服务器发送大量消息。

使用 Beats 的另一个优势是,在 Logstash 中,您可以拥有持久队列,这可以防止您在 elasticsearch 集群出现故障时丢失日志消息。所以 Logstash 会将消息持久保存在磁盘上。请注意,如果您使用 UDP,Logstash 无法确保您不会丢失消息,this link会有帮助。

关于elasticsearch - 用于转发日志的 Filebeat 与 Rsyslog,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44387910/

相关文章:

java - 在 rsyslog 中启用日志轮换

python-3.x - 如何模拟elasticsearch.helpers.bulk

python - 为从数据库检索的数据创建动态html链接

elasticsearch - Nest.ConnectionSettings.SetJsonSerializerSettingsModifier还能工作吗?

elasticsearch - 如何查找存在映射冲突的字段

jdbc - 如何保持Logstash运行,以便将数据从RDBMS同步到ES?

linux - 为什么 Logstash 在 Linux 中从文件中重新加载重复数据?

elasticsearch - Logstash期望#出什么问题了

linux - Docker 中使用 rsyslog 没有 Postfix 日志?

linux - Rsyslog 将消息部分中的换行符替换为 <br/>