json - 使用filebeat记录-将JSON提取到JS文件

Question

我们使用filebeat + elk处理日志。

我们对filebeat的要求是在每一行中接收一个json对象并提取以下字段:

消息字段:记录的整个消息。

对于每个json字段，在ES文档中创建等效字段。

我们尝试使用json.keys_under_root: true，但没有成功将所有内容存储在“消息”字段中。

我们希望获得多行支持，但我们未能成功使用json.keys_under_root: true和multiline.pattern:<pattern>定义来启动filebeat服务。

您对这两个问题有任何想法吗？
我们更喜欢使用filebeat而不是logstash执行此json解析。

非常感谢。

Answer 1

1.)在filebeat.yml下面的配置帮助我解析了单行Json日志文件。

filebeat.prospectors:

路径:
你的路。
input_type:日志
json.keys_under_root:是
json.add_error_key:是

2.)我还没有尝试过多行模式。您也可以在此论坛中查看https://discuss.elastic.co/t/input-multiline-json/165287此文章和其他文章。