+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Kafka (https://monitoringserwerow.pl/forumdisplay.php?fid=18)
+--- Thread: Kafka retencja danych (/showthread.php?tid=100)
Kafka retencja danych - JarosławS - 05-08-2020
Cześć,
Mam problem z ustawieniem prawidłowej retencji w Kafka. Mam 1 topic do którego pisze 1 Logstash danymi z urządzeń sieciowych,konfiguracja topicu jest następująca:
Configs for topic 'asa' are retention.ms=43200000,cleanup.policy=delete,retention.bytes=214748364800
Problem polega na tym, że Kafka nie uwzględnia przy usuwaniu danych kryterium retention.bytes, co często doprowadza do zapełnienia wolumenu w przypadku nagłego wzrostu przesyłanych danych i zatrzymania procesu Kafka.
Może ktoś ma pomysł jak problem rozwiązać?
Jarek