Nuova release di OpenSearch (2.15): funzionalità e vantaggi

OpenSearch 2.15 è disponibile con un ricco set di nuove funzionalità progettate per migliorare le prestazioni, l’efficienza, la stabilità e la resilienza delle applicazioni di ricerca. Questa versione include nuove capacità di apprendimento automatico (ML) e miglioramenti nella facilità d’uso, ideali per potenziare ulteriormente le operazioni di ricerca aziendale. Puoi esplorare queste innovazioni all’interno di OpenSearch Playground e consultare le note di rilascio.

Costo, prestazioni, scalabilità

Questa versione offre una serie di funzionalità che aiutano l’utente a ridurre i costi, migliorare le prestazioni e la scalabilità per le distribuzioni OpenSearch. Le funzionalità in questione sono:

elaborazione dei documenti rapida con l’acquisizione parallela. Molte applicazioni moderne richiedono un’elaborazione dati significativa durante l’ingestion. OpenSearch 2.15 introduce l’elaborazione parallela, sfruttando il parallelismo dei moderni processori e servizi remoti. Questo permette di gestire batch di documenti, riducendo il numero di chiamate API e aumentando l’efficienza. Tempi di elaborazione più rapidi si traducono in un’accelerazione delle operazioni, migliorano la produttività e riducono i costi operativi.

Ricerca ibrida più veloce. L’elaborazione parallela è ora applicata anche alla ricerca ibrida, combinando la ricerca lessicale con quella vettoriale semantica per risultati di qualità superiore. OpenSearch 2.15 riduce la latenza di questa ricerca fino al 25%. Risultati di ricerca più rapidi e pertinenti migliorano l’esperienza utente e aumentano l’efficienza dei processi decisionali.

Supporto SIMD per la ricerca esatta. Migliorando il supporto introdotto in OpenSearch 2.12, la versione 2.15 aggiunge il supporto SIMD per query di ricerca esatte, aumentando le prestazioni delle query fino a 1,5 volte rispetto alle implementazioni non SIMD. Questo consente di effettuare ricerche più veloci, ottimizzando le operazioni aziendali e consentendo una rapida risposta.

Ottimizzazione della capacità di archiviazione. OpenSearch 2.15 consente di disabilitare i valori per il k-nncampo per la ricerca vettoriale con Lucene, riducendo le dimensioni dello shard del 16%. Questa ottimizzazione sarà estesa a NMSLIB e Faiss in futuro.

Campi con caratteri Jolly per ricerca efficiente. Nuova tipologia di field wildcard per una ricerca più efficiente per campi senza una struttura di token naturale, ideale per log e dati con un numero elevato di token distinti. 

Campi derivati per efficienza e flessibilità. I campi derivati, calcolati al momento della query, consentono di manipolare i dati in tempo reale, riducendo i requisiti di archiviazione e permettendo una maggiore flessibilità nelle query. Semplificando i processi di query si ha una riduzione dei costi di archiviazione.

Miglioramenti per aggregazioni con cardinalità singola. La funzionalità dynamic pruning, introdotta in questa versione, può migliorare le prestazioni delle aggregazioni a cardinalità singola fino a 100 volte, in particolare sui campi con bassa cardinalità.

Alessandro Fortunati – CTO di Seacom, ha parlato di tutto questo e delle principali novità introdotte nell’ultima versione. Guarda l’intervista completa cliccando qui sotto: 

Stabilità, disponibilità, resilienza

La versione 2.15 include anche aggiornamenti che supportano la stabilità, la disponibilità e la resilienza dei cluster OpenSearch. Di seguito tutti gli aggiornamenti:

Archiviazione remota con aggiornamenti in sequenza. Ora è possibile migrare un cluster a un’archiviazione supportata da remoto con aggiornamenti in sequenza, permettendo aggiornamenti senza tempi di inattività e continuando a indicizzare e interrogare i dati. Questo aggiornamento permette una maggiore continuità operativa e protezione dei dati, minimizzando i rischi di downtime.

Gestione del cluster state ottimizzata grazie alla funzionalità remote backed storage. Quando abilitata, questa funzionalità permette di ridurre il sovraccarico di memoria sui nodi manager del cluster.

Visibilità migliorata sulle prestazioni delle query. OpenSearch 2.15 introduce avanzamenti per il monitoraggio delle principali query, permettendo di configurare e recuperare le query principali in base all’utilizzo della CPU e della memoria, con possibilità di esportare i dati per analisi storiche. Maggiore trasparenza e controllo sulle prestazioni delle query facilitano l’ottimizzazione e la risoluzione dei problemi.

Ricerca e ML

OpenSearch 2.15 include diverse aggiunte al toolkit di ricerca e ML di OpenSearch. Queste sono state progettate per rendere le applicazioni e le integrazioni basate su ML più flessibili e facili da realizzare. Di seguito un elenco delle funzionalità:

Ricerca vettoriale da indici lessicali. Utilizzando il flow framework, è ora possibile arricchire un indice lessicale con campi vettoriali, abilitando la ricerca vettoriale e ibrida senza reindicizzare completamente gli indici.

Servizi di intelligenza artificiale integrati. Gli utenti possono configurare modelli remoti come barriere di protezione contro la tossicità, utilizzando servizi AI all’avanguardia per rilevare in modo più accurato input e output tossici.

Compatibilità con modelli ML locali. Il processore di inferenza ML supporta ora modelli ospitati localmente, permettendo arricchimenti attraverso ingest pipelines senza dover dipendere da modelli remoti.

Facilità d’uso

Nella nuova versione di OpenSearch, sono stati introdotti anche strumenti che migliorano la facilità di utilizzo. Troviamo infatti l’accesso a più fonti di dati con OpenSearch Dashboards.

Continuando a supportare nuove origini dati, OpenSearch 2.15 aggiunge il supporto per ulteriori plugin Dashboards, inclusi analisi delle metriche, analisi della sicurezza, assistente Dashboards e avvisi, oltre a un nuovo plugin principale chiamato “Timeline”. Questo consente di gestire in modo più efficace i dati e le visualizzazioni, facilitando il monitoraggio e l’analisi dei dati aziendali.

Conclusione

OpenSearch 2.15 rappresenta un significativo passo avanti rispetto alla versione precedente, grazie all’introduzione di numerose nuove funzionalità e miglioramenti che riducono i costi, ne potenziano le prestazioni, l’efficienza, la scalabilità, la sicurezza e la facilità d’uso. Le novità come l’elaborazione parallela per l’ingestion e la ricerca ibrida, il supporto SIMD per query di ricerca esatte, e l’ottimizzazione della capacità di archiviazione offrono alle aziende strumenti più potenti per la gestione dei loro dati. Inoltre, le nuove capacità di apprendimento automatico e il supporto per modelli ML locali ampliano le possibilità di integrazione e applicazione delle tecnologie AI.