Cześć.
Pracuję od jakiegoś czasu z logstashem i wszystko działa dobrze, ale od czasu do czasu zaczyna mi się pojawiać spam takich wpisów i logstash przestaje wysyłać dane. Nie wiem o co chodzi i czemu logstash przestaje działać??
Code:
[WARN ][io.netty.channel.DefaultChannelPipeline] An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.
Cześć.
To jest błąd parsowania logstasha. Pojawia się, gdy dokument nie jest obsłużony właściwie i nie przechodzi do sekcji output. Logstash zbiera takie dokumenty w swoim buforze. Jeśli takich dokumentów jest dużo bufor w którymś momencie się przepełnia i w efekcie uniemożliwia parsowanie dalszych dokumentów.
Najczęściej dzieje się tak, gdy mamy warunki
if w konfiguracji logstasha i jakiś dokument do tych warunków się nie klasyfikuje, np. przez błąd we wcześniejszych parserach. Taki warunek może wyglądać tak:
Code:
if "foo" in [tags] {
...
}
Jeśli dokument nie posiada frazy
foo w polu tag, nigdy nie będzie obsłużony przez ten warunek. Radziłbym zacząć od weryfikacji sekcji output i jeśli bazuje na if'ach, dodać na końcu else i wysłać wszystkie dokumenty do oddzielnego indexu. Wtedy najłatwiej jest zobaczyć jakie dokumenty mogą powodować te błędy.
W razie trudności podeślij tutaj swoją konfigurację logstasha i wspólnie poszukamy przyczyny ?
Rzeczywiście brakowało else w output logstasha
Dzięki za pomoc!!