Benefit

La principale sfida era l’eterogeneità delle sorgenti: sistemi con OS e applicazioni differenti, che comunicano tramite protocolli diversi — MQTT, SNMP, Syslog, RabbitMQ — senza un formato dati comune. A questo si aggiungevano requisiti precisi di retention: sei mesi di storico per la maggior parte dei dati operativi, cinque anni per i dati critici, con garanzie di integrità e autenticità che escludevano soluzioni di archiviazione non verificabili. La soluzione doveva inoltre integrarsi con le fonti esistenti tramite protocolli standard, senza richiedere modifiche ai sistemi già in produzione.

L’architettura è stata strutturata in cinque layer funzionali distinti.

1. FluentBit è stato impiegato come telemetry agent per l’acquisizione delle metriche dalle diverse sorgenti, gestendo nativamente i protocolli MQTT, SNMP, Syslog, RabbitMQ e log custom (Log Extractor e Log Collector).
2. Apache Kafka ha gestito la back-pressure del flusso di dati tra i layer, garantendo che picchi di volume non causassero perdite o rallentamenti a valle (Log Aggregator).
3. OpenSearch ha costituito il database principale per l’indicizzazione delle metriche e degli eventi, organizzati tramite indici temporali per ottimizzare le query sui dati storici.
4. OpenSearch Dashboards è stato configurato come presentation layer, fornendo agli operatori viste diagnostiche avanzate, allarmistiche configurabili e strumenti di reportistica.
5. MinIO, compatibile con le API Amazon S3, è stato implementato come object storage per l’archiviazione a lungo termine dei dati critici con retention di cinque anni.