cluster currently has [1000]/[1000] maximum shards open

[SzymonK]

W środowisku 7.x dostałem dziś błąd w logu elasticsearch:

"reason"=>"Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}}}}

Co to może być ? coś się zmieniło w 7.x ?

W wersji 7.X pojawił się limit shardów per węzeł, zapewne w celu optymalizacji, żeby liczbą shardów nie zabić pojedynczej instancji elasticsearch. Nie rozumiemy do tej pory dlaczego elastic.co nie poinformowało o tym wszystkich na zasadzie "Breaking Changes", ale tak to już jest.
Wraz z limitem pojawiła się nowa dyrektywa w elasticsearch.yml

cluster.max_shards_per_node

jest ona jednak ignorowana (bug) także w celu zmiany limitu shardów należy się posiłkować API:

curl -k -XPUT https://127.0.0.1:9200/_cluster/settings -H 'Content-type: application/json' -d '{"persistent":{"cluster.max_shards_per_node":2000}}'