Monitoring Serwerów - Forum o monitoringu infrastruktury IT
Wolne działanie filtra DNS logstash - Printable Version

+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Logstash (https://monitoringserwerow.pl/forumdisplay.php?fid=20)
+--- Thread: Wolne działanie filtra DNS logstash (/showthread.php?tid=90)



Wolne działanie filtra DNS logstash - quasimodo - 05-06-2020

Witam,
Uruchomiłem filtr DNS na logstashu, ale wyraźnie widać, że prędkość indeksowania zmalała przez dodanie resolva.
Mój konfig jak w dokumentacji :

filter {
      dns {
        reverse => [ "source_host", "field_with_address" ]
        resolve => [ "field_with_fqdn" ]
        action => "replace"
      }
    }


Czy to musi tak wolno działać ?


RE: Wolne działanie filtra DNS logstash - SzymonK - 05-11-2020

W starszych wersjach logstasha (2018*) po użyciu dyrektywy cache_size/failed_cache_size był błąd uniemożliwiający równoległe odpytywanie cache-a.

Bardzo fajną analizę wraz z wykresami wydajności przeprowadził zgłaszający:
https://github.com/logstash-plugins/logstash-filter-dns/pull/42

Gotowy config do użycia poniżej - proszę pamiętać, że pełną wydajność uzyskuje się po zapełnieniu cache-u danymi.
Warto także używać szybkich dnsów np 1.1.1.1/1.0.0.1


Code:
filter{
  # dns resolve
  dns {
    reverse => [ "hostname" ]
    action => "replace"
    nameserver => ["1.1.1.1", "1.0.0.1"]
    hit_cache_size => 131072
    hit_cache_ttl => 900
    failed_cache_size => 131072
    failed_cache_ttl => 900
  }

  # filter performance
  metrics {
    meter => "events"
    add_tag => "metric"
  }
}


output{
  if "metric" in [tags] {
        stdout {
            codec => line {
                  format => "DNS filter rate: %{[events][rate_1m]}"
            }
      }
  }
}