java - Logstash计划将重复记录插入elasticsearch

Question

我使用 JDBC 输入插件创建了 Logstash 配置文件，将 Oracle 数据库表引入 Elasticsearch，并按照计划每五分钟进行一次。

它按预期工作，但问题是，它在第​​二次、第三次运行时插入重复记录。我们怎样才能避免在elasticsearch中插入重复记录？

请使用 JDBC 输入插件找到我的logstash 配置文件

input {
      jdbc {
        jdbc_driver_library => "D:\1SearchEngine\data\ojdbc8.jar"
        jdbc_driver_class => "Java::oracle.jdbc.OracleDriver"
        jdbc_connection_string => "jdbc:oracle:thin:@localhost:1521:XE"
        jdbc_user => "demo"
        jdbc_password => "1234567"
        schedule => "*/5 * * * *"
        statement => "select * from documents"
      }
    }

    output {
      elasticsearch {
        hosts => ["localhost:9200"]
        index => "schedule1_documents"
      }
    }

请找到我的文档表架构

id  ---> Not Null number
FileName ---> varchar2
Path     ----> varchar2
File_size ---> varchar2

Answer 1

您需要使用 documents 表中的 id 字段。否则，ES会自己创建一个id。

所以你的输出应该是这样的:

  elasticsearch {
    hosts => ["localhost:9200"]
    index => "schedule1_documents"
    document_id => "%{id}"              <-- add this line with the proper ID field
  }