Per l’ecosistema universitario e governativo del Perù, settore Ricerca, Seacom ha sviluppato su scala nazionale un’infrastruttura per gestire e analizzare i dati della ricerca scientifica. Il progetto integra il sistema DSpace-CRIS nazionale con altre fonti governative e accademiche, creando un ecosistema della ricerca che centralizza i dati della produzione scientifica peruviana. L’architettura si basa su OpenSearch per l’analisi e la visualizzazione, Dremio come data lake engine per l’integrazione delle fonti esterne e Apache Superset per le dashboard analitiche. Il beneficio principale è un accesso centralizzato, aggiornato e in tempo reale ai dati della ricerca per istituzioni e ricercatori.

La sfida principale riguardava la gestione di fonti di dati eterogenee e sconosciute a priori, provenienti da istituzioni scientifiche e database governativi distribuiti sul territorio peruviano. Era necessario un sistema in grado di integrare queste fonti in modo armonioso, preservando l’integrità e la consistenza dei dati della ricerca scientifica senza richiedere spostamenti fisici delle informazioni tra i sistemi di origine. Il progetto doveva inoltre garantire dashboard sempre aggiornate rispetto al sistema DSpace-CRIS nazionale e supportare analisi su scala nazionale, come la distribuzione geografica dei ricercatori e le statistiche demografiche della comunità scientifica.

L’architettura è stata progettata in modo modulare, con OpenSearch come base per l’analisi e la visualizzazione dei dati, sincronizzato regolarmente con il sistema DSpace-CRIS per mantenere aggiornate le dashboard. Per l’integrazione delle fonti esterne è stato adottato Dremio come data lake engine, capace di creare dataset virtuali a partire dai dati CRIS e da altre fonti governative nazionali, permettendo l’accesso in tempo reale ai dati integrati senza necessità di spostamenti fisici e preservandone così l’integrità. Apache Superset gestisce le visualizzazioni e le analisi avanzate, con dashboard personalizzate che monitorano la distribuzione dei ricercatori e delle risorse per area geografica, oltre a statistiche su età media, area disciplinare e genere dei ricercatori. Il flusso dati parte da un database relazionale contenente le informazioni universitarie, sincronizzato su indici OpenSearch e arricchito tramite processo ETL verso Dremio prima della visualizzazione finale in Superset.