elasticsearch - 可以将作为 Web 服务公开的日志数据输入到 Elasticsearch 吗?

标签 elasticsearch flume logstash kibana fluentd

我有许多应用程序在不同的数据中心运行,由不同的供应商开发和维护。每个应用程序都有一个 Web 服务,用于公开为应用程序整合的相关日志数据(审计数据、安全数据、与成本计算相关的数据、性能数据……)。

我的任务是将来自每个系统的数据放入 Elasticsearch、Kibana 和 Logstash 的设置中,这样我就可以创建业务报告或以我想要的方式查看数据。

假设我有一个 JBoss 应用程序服务器用于集成到这些“公开日志”服务,那么提供 Elasticssearch 的最佳方式是什么?一些调用每个服务的 Logstash 插件? JBoss 使用一些 Logstash 插件?还是其他方式?

最佳答案

最好的方法是在创建日志的服务器上设置 logstash shipper。

然后,这会将它们发送到 Redis 服务器。

另一个 logstash 实例将从 Redis 中提取数据,并将其编入索引,然后将其发送到 Elasticsearch。

然后,Kibana 将为 Elasticsearch 提供一个接口(interface),这是好事发生的地方。

不久前我写了一篇关于如何安装 Logstash 的文章。此后版本可能已更新,但仍然有效

http://www.nightbluefruit.com/blog/2013/09/how-to-install-and-setup-logstash/

关于elasticsearch - 可以将作为 Web 服务公开的日志数据输入到 Elasticsearch 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22507286/

相关文章:

datetime - 按星期几过滤,按小时汇总

java - 当事件数等于或超过 batchSize 时,为什么 Flume-NG HDFS sink 不写入文件?

java - 在 Apache Flume 1.5 中的何处放置自定义 jar?

ssl - File Beat 无法连接来自另一个实例的 logstash(ELK 堆栈)

elasticsearch - 获取所有时间date_histogram存储桶结果

java - 如何使用 QueryStringQueryBuilder

elasticsearch - 使 Elasticsearch 中的所有对象嵌套对象

excel - Flume 加载 csv 文件优于 hdfs 接收器

ios - 如何获取受 Apple 配置器监管的 iOS 设备的日志?

elasticsearch - 删除数组字段(如果为空)