elasticsearch - Kafka 输入到 logstash 插件

Question

我正在尝试从 3 个服务器的 kafka 集群读取到 logstash，以便将其写入系统日志服务器。 我已经写下系统日志，但即使在 logstash 文档站点上，我也无法找到如何从 kafka 读取到 logstash。

Logtash 版本:5.2.2 卡夫卡版本:0.10.2 斯卡拉版本:2_11

我去看了一下api版本， LOGSTASH_CORE_PLUGIN_API = "2.1.12"

这是我尝试使用的配置

input {
#    file
#    {
#        path => "/opt/logstash/NOTICE.TXT"
#
#        #DEBUG below
#        #path => "../fsdfdstt.log"
#        start_position => "beginning"
#        sincedb_path => "/dev/null"
#    }
        kafka
        {
                zk_connect => "localhost:2181"
                topic_id => "kafkatest2"
        }
}
output
{
        syslog
        {
                host => ["targetserver"]
                port => port#
        }
}

但这是我得到的错误...

[2017-03-15T10:24:17,000][ERROR][logstash.inputs.kafka    ] Unknown setting 'zk_connect' for kafka
[2017-03-15T10:24:17,008][ERROR][logstash.inputs.kafka    ] Unknown setting 'topic_id' for kafka
[2017-03-15T10:24:17,015][ERROR][logstash.agent           ] Cannot load an invalid configuration {:reason=>"Something is wrong with your configuration."}

此外，我发现有些人在 kafka 输入中使用“group_id”。我不确定我的集群是否有 groupid。

谢谢， 卡兰

Answer 1

您的 kafka 输入配置需要改为这样:

    kafka
    {
            bootstrap_servers => "localhost:9092"
            topics => "kafkatest2"
    }

您不再连接到 Zookeeper，而是直接连接到您的 Kafka 代理之一。此外，topic_id 设置应该改为读取 topics。

您可以在以下位置找到最新的配置选项:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html