elasticsearch - 有什么方法可以改善ElasticSearch上的索引编制？

Question

我正在使用ELK处理和监视相当大的日志文件。我正在从本地文件系统推送日志。

但是我面临几个问题:

由于数据量大，使用LogStash进行

解析非常慢。随着过滤器插件的增加，它变得越来越慢。 (3.2GB的日志需要4天的时间!)

在这些索引上的Kibana中进行API调用和构建可视化效果也很慢。

我该如何解决这些问题？

迁移到云解决方案:AWS还是Google Cloud？但是这些可能需要
费用增加。

改进索引技术。如何在ES中实现这一目标？

任何帮助都是有益的。谢谢!

预计到达时间:

我的logstash配置:

input {
    file {
        path => "/home/adb/data/**/**/*.gz" #path to subfolder (2nd level) containing .gz files
        mode => "read"
        file_completed_action => "log"
        file_completed_log_path => "/home/adb/data/log.txt"
    }
}

filter {
    csv {
        separator => "&"
        columns => ["T", "D", "CID", "RT", "RP" ...]
    }

    kv {
        source => "RP"
        target => "RP"
        value_split => "#"
        field_split => "*"
    }

    mutate {
        split => { "RT" => "*" }
    }

    date {
                match => ["T", "yyyy-MM-dd HH:mm:ss"]
                timezone => "UTC"
                target => "ET"
        }

     mutate {
                convert => {
                        "RT" => "integer"
                }
        }

}

output {
    elasticsearch {
        hosts => "localhost"
        index => "trial1"
        document_type => "A_C"
    }
    stdout {}
}

Answer 1

如果在 flex 搜索索引中包含大量带有logstash的数据，则索引编制可能会很慢。您可以将apache kafka放在您的应用程序和logstash之间，以加快索引编制的速度。