Tail of pipeline

[WhiteHatPirate]

Cześć.

Pracuję od jakiegoś czasu z logstashem i wszystko działa dobrze, ale od czasu do czasu zaczyna mi się pojawiać spam takich wpisów i logstash przestaje wysyłać dane. Nie wiem o co chodzi i czemu logstash przestaje działać??

Code:

[WARN ][io.netty.channel.DefaultChannelPipeline] An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.

[SzymonC]

Cześć.

To jest błąd parsowania logstasha. Pojawia się, gdy dokument nie jest obsłużony właściwie i nie przechodzi do sekcji output. Logstash zbiera takie dokumenty w swoim buforze. Jeśli takich dokumentów jest dużo bufor w którymś momencie się przepełnia i w efekcie uniemożliwia parsowanie dalszych dokumentów.

Najczęściej dzieje się tak, gdy mamy warunki if w konfiguracji logstasha i jakiś dokument do tych warunków się nie klasyfikuje, np. przez błąd we wcześniejszych parserach. Taki warunek może wyglądać tak:

Code:

if "foo" in [tags] {
...
}

Jeśli dokument nie posiada frazy foo w polu tag, nigdy nie będzie obsłużony przez ten warunek. Radziłbym zacząć od weryfikacji sekcji output i jeśli bazuje na if'ach, dodać na końcu else i wysłać wszystkie dokumenty do oddzielnego indexu. Wtedy najłatwiej jest zobaczyć jakie dokumenty mogą powodować te błędy.

W razie trudności podeślij tutaj swoją konfigurację logstasha i wspólnie poszukamy przyczyny ?

[WhiteHatPirate]

Rzeczywiście brakowało else w output logstasha Dzięki za pomoc!!