+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Kafka (https://monitoringserwerow.pl/forumdisplay.php?fid=18)
+--- Thread: Kafka – obliczanie retention.bytes (/showthread.php?tid=127)
Kafka – obliczanie retention.bytes - quasimodo - 10-15-2021
Mam problem z obliczeniem wartości retention.bytes dla Kafki.
RE: Kafka – obliczanie retention.bytes - ArturB - 10-15-2021
(10-15-2021, 11:08 AM)quasimodo Wrote: Mam problem z obliczeniem wartości retention.bytes dla Kafki.
Nie jedna osoba z kafką miała problem z zapychaniem partycji. Powodem jest błędnie skonfigurowany retention.bytes dla topicu.
Błędne założenie: podajemy całość miejsca jaki ma zajmować topic
Poprawne: liczbę tą trzeba obliczyć według poniższego wzoru:
Dla wartości
segment.bytes=250000000 (default jest 1GB)
PartitionCount=70
Rozmiar, który ma zajmowac na dysku = 540 GB
disk size in bytes / segment.bytes / PartitionCount * disk usage threshhold (zakładamy 95%)
579820584960 / 250000000 / 70 * 0,95 = 31,47597461211429
segment.bytes * powyższy wynik
250000000 * 31,47597461211429 = 7868993653
retention.bytes=7868993653
Dynamiczna zmiana
/opt/kafka/bin/kafka-topics.sh –zookeeper localhost:2181 –alter –topic kafkaQueue –config retention.bytes=7868993653