Monitoring Serwerów - Forum o monitoringu infrastruktury IT
cluster currently has [1000]/[1000] maximum shards open - Printable Version

+- Monitoring Serwerów - Forum o monitoringu infrastruktury IT (https://monitoringserwerow.pl)
+-- Forum: MONITORING INFRASTRUKTURY IT (https://monitoringserwerow.pl/forumdisplay.php?fid=1)
+--- Forum: Elasticsearch (https://monitoringserwerow.pl/forumdisplay.php?fid=19)
+--- Thread: cluster currently has [1000]/[1000] maximum shards open (/showthread.php?tid=103)



cluster currently has [1000]/[1000] maximum shards open - quasimodo - 05-27-2020

W środowisku 7.x dostałem dziś błąd w logu elasticsearch:

"reason"=>"Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}}}}

Co to może być ? coś się zmieniło w 7.x ?


RE: cluster currently has [1000]/[1000] maximum shards open - SzymonK - 06-04-2020

(05-27-2020, 08:54 AM)quasimodo Wrote: W środowisku 7.x dostałem dziś błąd w logu elasticsearch:

"reason"=>"Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}}}}

Co to może być ? coś się zmieniło w 7.x ?
W wersji 7.X pojawił się limit shardów per węzeł, zapewne w celu optymalizacji, żeby liczbą shardów nie zabić pojedynczej instancji elasticsearch. Nie rozumiemy do tej pory dlaczego elastic.co nie poinformowało o tym wszystkich na zasadzie "Breaking Changes", ale tak to już jest.
Wraz z limitem pojawiła się nowa dyrektywa w elasticsearch.yml

cluster.max_shards_per_node

jest ona jednak ignorowana (bug) także w celu zmiany limitu shardów należy się posiłkować API:

curl -k -XPUT https://127.0.0.1:9200/_cluster/settings -H 'Content-type: application/json' -d '{"persistent":{"cluster.max_shards_per_node":2000}}'