02-23-2021, 11:30 AM
Cześć.
To jest błąd parsowania logstasha. Pojawia się, gdy dokument nie jest obsłużony właściwie i nie przechodzi do sekcji output. Logstash zbiera takie dokumenty w swoim buforze. Jeśli takich dokumentów jest dużo bufor w którymś momencie się przepełnia i w efekcie uniemożliwia parsowanie dalszych dokumentów.
Najczęściej dzieje się tak, gdy mamy warunki if w konfiguracji logstasha i jakiś dokument do tych warunków się nie klasyfikuje, np. przez błąd we wcześniejszych parserach. Taki warunek może wyglądać tak:
Jeśli dokument nie posiada frazy foo w polu tag, nigdy nie będzie obsłużony przez ten warunek. Radziłbym zacząć od weryfikacji sekcji output i jeśli bazuje na if'ach, dodać na końcu else i wysłać wszystkie dokumenty do oddzielnego indexu. Wtedy najłatwiej jest zobaczyć jakie dokumenty mogą powodować te błędy.
W razie trudności podeślij tutaj swoją konfigurację logstasha i wspólnie poszukamy przyczyny ?
To jest błąd parsowania logstasha. Pojawia się, gdy dokument nie jest obsłużony właściwie i nie przechodzi do sekcji output. Logstash zbiera takie dokumenty w swoim buforze. Jeśli takich dokumentów jest dużo bufor w którymś momencie się przepełnia i w efekcie uniemożliwia parsowanie dalszych dokumentów.
Najczęściej dzieje się tak, gdy mamy warunki if w konfiguracji logstasha i jakiś dokument do tych warunków się nie klasyfikuje, np. przez błąd we wcześniejszych parserach. Taki warunek może wyglądać tak:
Code:
if "foo" in [tags] {
...
}Jeśli dokument nie posiada frazy foo w polu tag, nigdy nie będzie obsłużony przez ten warunek. Radziłbym zacząć od weryfikacji sekcji output i jeśli bazuje na if'ach, dodać na końcu else i wysłać wszystkie dokumenty do oddzielnego indexu. Wtedy najłatwiej jest zobaczyć jakie dokumenty mogą powodować te błędy.
W razie trudności podeślij tutaj swoją konfigurację logstasha i wspólnie poszukamy przyczyny ?
