Blog

La nostra raccolta di articoli e approfondimenti tecnici

Video

Una raccolta di video dai nostri eventi, webinar e molto altro

Use case

Una raccolta dei nostri Casi di successo

FAQ

FAQ Seacom — Open Source Enterprise: domande e risposte

Home / Risorse / Use Cases

Sviluppo di un’architettura dati avanzata basata su Dremio e MinIO

Ambito

Data Lake Management

Industry

Industry 4.0, Automotive

Soluzione

Dremio

Benefit

Accesso semplificato

Miglioramento delle performance

Massima continuità di servizio

Architettura Data Lake ready

Overview

Il cliente è un’azienda leader nel settore Automotive, nell’ambito dell’Industria 4.0, specializzata nella produzione di pneumatici per veicoli commerciali, industriali e agricoli, con un forte posizionamento su qualità, efficienza e sicurezza. Il progetto ha riguardato la migrazione dalla piattaforma deprecata JDV (JBoss Data Virtualization) verso una nuova architettura dati basata su Dremio e MinIO, storage distribuito per l’accesso federato ai dati di fabbrica raccolti da sensori, PLC e server OPC. L’obiettivo era costruire, in modo graduale, i presupposti tecnici per un futuro Data Lake, mantenendo inalterati gli strumenti di accesso già in uso: QlikSense, script Python e Grafana.

Challenge

L’azienda utilizzava JDV (JBoss Data Virtualization), tecnologia ormai deprecata, per integrare i dati raccolti dal server OPC e dal server SQL Server, alimentato a sua volta dai PLC di macchina tramite sensori di temperatura, larghezza, peso e velocità, oltre ai dati del sistema MES legacy (codici prodotto, codici macchina, codici a barre, tolleranze di accettazione). La sfida era sostituire JDV con una soluzione moderna in grado di garantire, in prospettiva, un Data Lake aziendale, accedere più velocemente e in modo distribuito ai dati storici, e al tempo stesso non alterare i metodi di accesso già consolidati su QlikSense, script Python e dashboard Grafana, evitando impatti sulla produttività dei team.

Soluzione

Seacom ha analizzato l’architettura AS IS, basata su server OPC, SQL Server e JDV, per progettare una nuova architettura dati che introduce Dremio come motore di virtualizzazione: Dremio elimina la necessità di copie fisiche dei dati, semplifica l’accesso alle fonti tramite ODBC, JDBC, REST e Arrow Flight, e accelera le query attraverso le Data Reflections. MinIO è stato integrato come sistema di storage distribuito a oggetti, compatibile con formati CSV, JSON e Parquet, consentendo a ogni nodo esecutore di eseguire operazioni in autonomia e alle applicazioni di scrivere dati direttamente nello storage. Sono stati sviluppati connettori custom, oltre a quelli standard, per preservare inalterati gli accessi già utilizzati da QlikSense, script Python e Grafana. È stata inoltre proposta un’ulteriore semplificazione dell’architettura, con Dremio come unico sistema di virtualizzazione degli storage distribuiti, in vista dell’evoluzione verso un Data Lake completo.

Risultati

La nuova architettura, basata su Dremio e MinIO, ha sostituito la tecnologia deprecata JDV e semplificato l'accesso e l'analisi dei dati mediante virtualizzazione, abilitando query SQL ad alte prestazioni su dati distribuiti provenienti da server OPC, SQL Server e storage MinIO. La funzionalità Data Reflection ha migliorato sensibilmente sia i tempi di esecuzione delle query sia l'accesso distribuito ai dati. L'impiego di connettori standard e custom ha permesso di mantenere inalterate le metodologie di accesso già in uso (QlikSense, script Python, Grafana), senza alterare la produttività dei team. L'architettura risulta oggi ottimizzata e conforme a un futuro sviluppo verso un Data Lake aziendale.

VIRTUALIZZAZIONE DATI

Dremio elimina le copie fisiche dei dati e consente query SQL ad alte prestazioni su fonti distribuite tramite ODBC, JDBC, REST e Arrow Flight.

PERFORMANCE QUERY

Le Data Reflections di Dremio migliorano notevolmente i tempi di esecuzione delle query e l'accesso distribuito ai dati rispetto alla precedente architettura basata su JDV.

CONTINUITÀ OPERATIVA

Connettori standard e custom mantengono inalterati gli accessi via QlikSense, script Python e Grafana, senza impatti sulla produttività dei team coinvolti.

DATA LAKE READY

L'architettura con Dremio e storage distribuito MinIO risulta ottimizzata e pronta per un futuro sviluppo verso un Data Lake aziendale completo.

Risorse

Scarica il documento completo