Monitoring Serwerów - Forum o monitoringu infrastruktury IT - Elasticsearch

zmniejszenie danych w elasticsearch

Mon, 08 Mar 2021 09:19:46 +0000

W moim systemie dane strasznie dużo ważą. Kończy mi się wolne miejsce, pomimo użycia best compression na indeksie. Czy jest jeszcze jakaś możliwość zmniejszenia ilości danych w systemie ?

Flowmon i ELK

Fri, 12 Feb 2021 14:15:58 +0000

Cześć,

spotkałem się z potrzebą zbierania flow w środowisku rozproszonym z wielu urządzeń, lecz martwi mnie wydajność niektórych rozwiązań.

Czy ktoś ma jakieś doświadczenie w zakresie wydajnego zbierania flow przez ELK?

informacja o przyrostach danych

Thu, 17 Sep 2020 09:57:25 +0000

czy jest jakiś sposób żeby sprawdzać ile dokumentów oraz ile danych (w GB) przybyło w danym indeksie? Chodzi o to żeby móc uzyskąc informację że np od wczoraj w indeksie x przybyło 1k dokumentów a w y nic się nie zmieniło

stałe kolory na wykresach w kibanie

Mon, 03 Aug 2020 12:22:32 +0000

Szukam sposobu aby kolory na wykresach w kibanie nie były dowolne. Przy każdym odświeżeniu dashboardu kolory są random.

Można jakoś wpłynąć na układ kolorów ?

LDAP , Energy Logserver, Elasticsearch

Mon, 06 Jul 2020 12:05:26 +0000

Panowie,
nie ma ktoś instrukcji jak postawić serwer ldap, bo chciałbym mieć w energy/elasticsearch zewnetrzna baze uzytkownikow.

export danych ruchu sieciowego w csv w Energy Logserver

Thu, 28 May 2020 09:10:20 +0000

Hej,
W produkcie Energy Logserver chciałbym dostawać raport csv który pokazuje statystykę ruchu netflow dla wskazanych stacji. Najlepiej jakby to był jakiś automat.

cluster currently has [1000]/[1000] maximum shards open

Wed, 27 May 2020 08:54:18 +0000

W środowisku 7.x dostałem dziś błąd w logu elasticsearch:

"reason"=>"Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}}}}

Co to może być ? coś się zmieniło w 7.x ?

Elasticsearch 6.x 7.x data compression

Fri, 08 May 2020 20:58:00 +0000

Czy zastanawialiście się jak efektywna jest kompresja w elasticsearch ? Może robiliście jakieś pomiary względem zajętości danych w indeksach względem raw ?

Problem z inicjalizacją replik

Fri, 08 May 2020 10:46:15 +0000

Szanowne forum:

Kolejny problem z którym nie mogę sobie poradzić, a występuje po restartcie noda, inicjalizacja replik zostaje wstrzymana , a w logach widzę komunikat:

org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data for [] would be [12025916510/11,2gb], which is larger than the limit of [12025908428/11,2gb]

Co to za limit i jak się go pozbyć?

Too many open files

Fri, 08 May 2020 09:19:35 +0000

Witam,

Mam problem z klastrem ELK
Proces Elasticsearch niespodziewanie zatrzymuje się, a w logach widzę błąd: "Too many open files"

Restart usługi pomaga ale nie na długo.

Zestaw składa się z trzech serwerów Elasticsearch 6.5.4 data+master oraz jednego ingest. Indeksy zakładane są każdego dnia i każdy posiada 3 shardy i 3 repliki.

Ustawiłem w systemie paramert "elasticsearch - nofile 65535" w
/etc/sysconfig/elasticsearch zgodnie z dokumentacją ELK ale problem nadal występuje.

Prośba o pomoc.

W

can not be imported as a dangling index

Wed, 06 May 2020 11:33:24 +0000

Mam błąd, z którym się wcześniej nie spotkałem i nawet nie wiem z czego wynika

Dangling index : log-2020-04-01-1.log.gz:[2020-04-01T00:00:01,319][WARN ][o.e.g.DanglingIndicesState] [collector1] [[.authuser/tzYkH9wjQLa1cRYdD6JgkQ]] can not be imported as a dangling index, as index with same name already exists in cluster metadata

Spotkał się ktoś z tym ? Z czego to wynika i jak zaradzić ?

Elastalert on ubuntu

Wed, 06 May 2020 11:14:13 +0000

Czy możecie pomóc w instalacji elastalerta na ubuntuu ?
Męczę się aby wszystko działało z z pythonem 3.6

Mam kilka instrukcji :
https://fabianlee.org/2017/04/17/elk-run...ntu-14-04/
https://elastalert.readthedocs.io/en/lat...alert.html
https://www.fosslinux.com/6240/how-to-in...ubuntu.htm

i cały czas dostaję błędy typu: pip error

elastalert (ładniejsza forma alertu)

Wed, 22 Apr 2020 09:06:59 +0000

Prośba o pomoc jak rozbudować alerty z elastalert żeby zawierały więcej informacji tzn dodać dodatkowe kolumny i dać jakiś opis w wiadomości etc.