Duplikacja dokumentów

[SzymonC]

Hej.

Ok, więc jak sam zauważyłeś/aś logstash wysyła dokumenty i czasem (przez restart, konfigurację lub nawet same źródło) duplikaty mogą pojawić się w systemie. Dobrym sposobem, żeby sobie z tym poradzić jest uzupełnienie konfiguracji logstasha o fingerprint.

Logstash buduje unikalny fingerprint dla dokumentu, na bazie jakichś pól i wtedy zastępujemy nim id dokumentu. Konfiruacja może wyglądać jak poniżej:

Code:

Input {
  if "foo" in [tags] {
    fingerprint {
      source => [ "[host]", "[file][fullname]", "[file][content]" ]
      target => "generated_id"
      method => "SHA1"
      key => "xyz"
      concatenate_sources => "true"
    }
  }
}

Output {    
  if "foo" in [type] {
    elasticsearch {
      hosts => "127.0.0.1:9200"
      index => "boo"
      document_id => "%{generated_id}"
    }
  }
  else {
    elasticsearch {
      hosts => "127.0.0.1:9200"
      index => "moo"
    }
  }
}