Wolne działanie filtra DNS logstash

[quasimodo]

Witam,
Uruchomiłem filtr DNS na logstashu, ale wyraźnie widać, że prędkość indeksowania zmalała przez dodanie resolva.
Mój konfig jak w dokumentacji :

filter {
      dns {
        reverse => [ "source_host", "field_with_address" ]
        resolve => [ "field_with_fqdn" ]
        action => "replace"
      }
    }


Czy to musi tak wolno działać ?

[SzymonK]

W starszych wersjach logstasha (2018*) po użyciu dyrektywy cache_size/failed_cache_size był błąd uniemożliwiający równoległe odpytywanie cache-a.

Bardzo fajną analizę wraz z wykresami wydajności przeprowadził zgłaszający:
https://github.com/logstash-plugins/logs...ns/pull/42

Gotowy config do użycia poniżej - proszę pamiętać, że pełną wydajność uzyskuje się po zapełnieniu cache-u danymi.
Warto także używać szybkich dnsów np 1.1.1.1/1.0.0.1

Code:

filter{
  # dns resolve
  dns {
    reverse => [ "hostname" ]
    action => "replace"
    nameserver => ["1.1.1.1", "1.0.0.1"]
    hit_cache_size => 131072
    hit_cache_ttl => 900
    failed_cache_size => 131072
    failed_cache_ttl => 900
  }

  # filter performance
  metrics {
    meter => "events"
    add_tag => "metric"
  }
}


output{
  if "metric" in [tags] {
        stdout {
            codec => line {
                  format => "DNS filter rate: %{[events][rate_1m]}"
            }
      }
  }
}