elasticsearch - 如何格式化Filebeat中的日志

标签 elasticsearch filebeat

我对filebeat和elasticsearch非常陌生。我正在做一个业余项目,我想解析我的数据文件。每个数据文件都包含如下所述的信息格式,

<name>
<question>
<ans1>
<ans2>
<ans3>
..etc

我想读取这些数据并存储在es中
{
 id : <separate_id_for_each_file>,
 name: <name>,
 question: <question>,
 ans1: <ans1>, ..etc
}

我该如何使用filebeat?

最佳答案

到目前为止,您无法使用filebeat进行此操作。
您将需要将日志发送到logstash,然后使用grok这样的插件将其转换,然后再将其发送到elastic,如果您希望在日志中添加ID,则可以在将其发送到grok之前使用uuid插件。
Filebeat的目的只是为了让收割女巫读取您的日志并发送然后转发

因此,您的流程将类似于:filebeat> LOGSTASH [uuid,grok]> ElasticSearch

如果您需要grok模式的示例,这些可能会有用:
希腊模式的集合:
https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

Grok模式测试仪:
http://grokconstructor.appspot.com/do/match

关于elasticsearch - 如何格式化Filebeat中的日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40375142/

相关文章:

c# - ElasticSearch 6.0.1-SQL DISTINCT子句-NEST C#

json - 我如何嵌套嵌套(Elasticsearch映射)

docker - 从由 kubernetes 管理的 docker 容器记录 nginx 事件

elasticsearch - Elasticsearch Logstash Filebeat映射

elasticsearch - 如何删除json。我的Elasticsearch字段上的前缀

elasticsearch - 将自定义字段类型添加到 ElasticSearch

node.js - 来自ElasticSearch的汇总输出

elasticsearch - 使用filebeat将结构化日志数据直接推送到elasticsearch

elasticsearch - 如何仅收集Filebeat中的错误级别日志并发送给elasticsearch

Filebeat 不记录到文件,始终只记录到 syslog