Elastic 6.0.0: tutte le novità e gli aggiornamenti della nuova versione

In attesa di parlarne apertamente nel prossimo meetup di Roma, diamo una rapida occhiata alle novità della nuova Beta version di Elastic Stack, la 6.0.0:

 Elasticsearch

– Rimozione dei Mapping Types

A partire dalla versione 5.0, gli sviluppatori Elastic hanno iniziato a revisionare il concetto di mapping type all’interno degli indici, riducendo il numero di Type definibili per singolo mapping a una sola unità. Questa modifica è dovuta alla scorretta associazione di Type a Table (tabella in un sistema relazionale). Il concetto di indipendenza tra singole entità proprio delle tabelle relazionali non si applica infatti ai campi di un indice Elasticsearch, in cui campi con lo stesso nome sono definiti in un singolo mapping. 

– Index Sorting

Quando si crea un nuovo indice in Elasticsearch, è possibile configurare come i segmenti all’interno di ogni Shard saranno ordinati. Per impostazione predefinita Lucene non applica alcun tipo. Le impostazioni index.sort. * Definiscono quali campi devono essere utilizzati per ordinare i documenti all’interno di ciascun segmento.

– Sequence Numbers

La nuova infrastruttura dei numeri di sequenza assegna un ID operativo incrementale a ogni indice, aggiornamento o eliminazione. Questa nuova infrastruttura consente a una replica di richiedere il primario per tutte le operazioni da X in poi. Se queste operazioni si trovano nel translog primario, una replica più vecchia può essere aggiornata semplicemente ripetendo il registro delle transazioni e evitando la necessità di copiare i file.

– Gestione spazio su disco migliorata: introduzione dell’impostazione cluster.routing.allocation.disk.watermark.flood_stage.

Quando un disco supera questo livello gli indici che hanno frammenti su questo nodo verranno impostati per sola lettura. Sarà necessario eliminare l’indice o aggiungere più spazio e ripristinarlo in lettura-scrittura.

– Introduzione bootstrap.password e setup-password:
Quando il cluster si avvia, qualsiasi nodo con questa impostazione cercherà di impostare la password per l’utente elastic, a meno che l’utente non abbia già una password, in modo che il cluster venga inizializzato in uno stato protetto. Oltre a ciò, è stato aggiunto uno strumento a riga di comando che genera e imposta password forti per tutti gli utenti interni.

– Scalabilità: introduzione di Light Shard prefiltering su targeting di almeno 128 shard.
La richiesta del prefilter riscrive la query al livello di shard e determina se la query ha effettiva possibilità di ottenere un match con un qualsiasi documento. La richiesta di ricerca completa viene poi inviata solo agli shard che hanno reale possibilità di matching.

EDIT: nella beta 2 dello stack è stata inserita l’auto generazione dell’opzione bootstrap.password: “We have now improved this experience by auto-generating this setting so as a user you don’t need to interact with the keystore unless there are other secrets you wish to store. This setting is generated at installation for our RPM and DEB packages, and on first startup for the tar and zip distributions.”

Kibana

– Miglioramenti su identificazione modifiche e deprecation logging, introduzione della funzionalità one-click migration

– Introduzione di interfaccia per la creazione di Alert basati su soglie:

– Accessibilità: sono state apportate diverse modifiche per garantire pieno accesso alle funzionalità di Kibana anche a utenti con disabilità visive

– Full screen mode

Logstash

– Introduzione di un’interfaccia visuale per le Pipeline:

– Introduzione di migration tool, strumento che consente la migrazione tra Ingest Node e Logstash. Consente di produrre una configurazione DSL Logstash da una ingest pipeline in JSON

– Introduzione di pannello di configurazione centralizzato (via Kibana):

Beats

– Introduzione Audibeat per la lettura e il parsing dei dati provenienti dal framework del Kernel Linux

– Introduzione di sottocomandi per la gestione di Metricbeat e Filebeat

– Filebeat: supporto nativo con Docker per estrazione degli ID dai log e interrogazione delle Docker API