05-08-2020, 11:03 AM
Cześć,
Mam problem z ustawieniem prawidłowej retencji w Kafka. Mam 1 topic do którego pisze 1 Logstash danymi z urządzeń sieciowych,konfiguracja topicu jest następująca:
Configs for topic 'asa' are retention.ms=43200000,cleanup.policy=delete,retention.bytes=214748364800
Problem polega na tym, że Kafka nie uwzględnia przy usuwaniu danych kryterium retention.bytes, co często doprowadza do zapełnienia wolumenu w przypadku nagłego wzrostu przesyłanych danych i zatrzymania procesu Kafka.
Może ktoś ma pomysł jak problem rozwiązać?
Jarek
Mam problem z ustawieniem prawidłowej retencji w Kafka. Mam 1 topic do którego pisze 1 Logstash danymi z urządzeń sieciowych,konfiguracja topicu jest następująca:
Configs for topic 'asa' are retention.ms=43200000,cleanup.policy=delete,retention.bytes=214748364800
Problem polega na tym, że Kafka nie uwzględnia przy usuwaniu danych kryterium retention.bytes, co często doprowadza do zapełnienia wolumenu w przypadku nagłego wzrostu przesyłanych danych i zatrzymania procesu Kafka.
Może ktoś ma pomysł jak problem rozwiązać?
Jarek