+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Logstash (https://monitoringserwerow.pl/forumdisplay.php?fid=20)
+--- Thread: Tail of pipeline (/showthread.php?tid=115)
Tail of pipeline - WhiteHatPirate - 02-23-2021
Cześć.
Pracuję od jakiegoś czasu z logstashem i wszystko działa dobrze, ale od czasu do czasu zaczyna mi się pojawiać spam takich wpisów i logstash przestaje wysyłać dane. Nie wiem o co chodzi i czemu logstash przestaje działać??
Code:
[WARN ][io.netty.channel.DefaultChannelPipeline] An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.RE: Tail of pipeline - SzymonC - 02-23-2021
Cześć.
To jest błąd parsowania logstasha. Pojawia się, gdy dokument nie jest obsłużony właściwie i nie przechodzi do sekcji output. Logstash zbiera takie dokumenty w swoim buforze. Jeśli takich dokumentów jest dużo bufor w którymś momencie się przepełnia i w efekcie uniemożliwia parsowanie dalszych dokumentów.
Najczęściej dzieje się tak, gdy mamy warunki if w konfiguracji logstasha i jakiś dokument do tych warunków się nie klasyfikuje, np. przez błąd we wcześniejszych parserach. Taki warunek może wyglądać tak:
Code:
if "foo" in [tags] {
...
}Jeśli dokument nie posiada frazy foo w polu tag, nigdy nie będzie obsłużony przez ten warunek. Radziłbym zacząć od weryfikacji sekcji output i jeśli bazuje na if'ach, dodać na końcu else i wysłać wszystkie dokumenty do oddzielnego indexu. Wtedy najłatwiej jest zobaczyć jakie dokumenty mogą powodować te błędy.
W razie trudności podeślij tutaj swoją konfigurację logstasha i wspólnie poszukamy przyczyny ?
RE: Tail of pipeline - WhiteHatPirate - 02-24-2021
Rzeczywiście brakowało else w output logstasha
Dzięki za pomoc!!