Monitoring Serwerów - Forum o monitoringu infrastruktury IT

Witam,
Uruchomiłem filtr DNS na logstashu, ale wyraźnie widać, że prędkość indeksowania zmalała przez dodanie resolva.
Mój konfig jak w dokumentacji :

filter {
dns {
reverse => [ "source_host", "field_with_address" ]
resolve => [ "field_with_fqdn" ]
action => "replace"
}
}

Czy to musi tak wolno działać ?

W starszych wersjach logstasha (2018*) po użyciu dyrektywy cache_size/failed_cache_size był błąd uniemożliwiający równoległe odpytywanie cache-a.

Bardzo fajną analizę wraz z wykresami wydajności przeprowadził zgłaszający:
https://github.com/logstash-plugins/logs...ns/pull/42

Gotowy config do użycia poniżej - proszę pamiętać, że pełną wydajność uzyskuje się po zapełnieniu cache-u danymi.
Warto także używać szybkich dnsów np 1.1.1.1/1.0.0.1

Code:
filter{

  # dns resolve

  dns {

    reverse => [ "hostname" ]

    action => "replace"

    nameserver => ["1.1.1.1", "1.0.0.1"]

    hit_cache_size => 131072

    hit_cache_ttl => 900

    failed_cache_size => 131072

    failed_cache_ttl => 900

  }

  # filter performance

  metrics {

    meter => "events"

    add_tag => "metric"

  }

}

output{

  if "metric" in [tags] {

        stdout {

            codec => line {

                  format => "DNS filter rate: %{[events][rate_1m]}"

            }

      }

  }

}

Monitoring Serwerów - Forum o monitoringu infrastruktury IT

quasimodo

SzymonK