+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Logstash (https://monitoringserwerow.pl/forumdisplay.php?fid=20)
+--- Thread: Wolne działanie filtra DNS logstash (/showthread.php?tid=90)
Wolne działanie filtra DNS logstash - quasimodo - 05-06-2020
Witam,
Uruchomiłem filtr DNS na logstashu, ale wyraźnie widać, że prędkość indeksowania zmalała przez dodanie resolva.
Mój konfig jak w dokumentacji :
filter {
dns {
reverse => [ "source_host", "field_with_address" ]
resolve => [ "field_with_fqdn" ]
action => "replace"
}
}
Czy to musi tak wolno działać ?
RE: Wolne działanie filtra DNS logstash - SzymonK - 05-11-2020
W starszych wersjach logstasha (2018*) po użyciu dyrektywy cache_size/failed_cache_size był błąd uniemożliwiający równoległe odpytywanie cache-a.
Bardzo fajną analizę wraz z wykresami wydajności przeprowadził zgłaszający:
https://github.com/logstash-plugins/logstash-filter-dns/pull/42
Gotowy config do użycia poniżej - proszę pamiętać, że pełną wydajność uzyskuje się po zapełnieniu cache-u danymi.
Warto także używać szybkich dnsów np 1.1.1.1/1.0.0.1
Code:
filter{
# dns resolve
dns {
reverse => [ "hostname" ]
action => "replace"
nameserver => ["1.1.1.1", "1.0.0.1"]
hit_cache_size => 131072
hit_cache_ttl => 900
failed_cache_size => 131072
failed_cache_ttl => 900
}
# filter performance
metrics {
meter => "events"
add_tag => "metric"
}
}
output{
if "metric" in [tags] {
stdout {
codec => line {
format => "DNS filter rate: %{[events][rate_1m]}"
}
}
}
}