RagOs-AI: la RAG flessibile e modulare interamente open source

RagOs-AI è l’innovativa piattaforma di intelligenza artificiale sviluppata da Seacom con l’obiettivo di elaborare, ricercare e generare contenuti, garantendo una gestione sicura dei dati e un’esperienza totalmente flessibile e personalizzabile.

Il nome deriva da RAG (Retrieval-Augmented Generation), tecnica su cui si basa l’intera soluzione, e OS ossia open source, poiché tutte le componenti della soluzione sono distribuite con licenze open source conformi alle direttive dell’Open Source Initiative (OSI).

La RAG è una tecnica di manipolazione dell’informazione che consente di generare risposte aggiornate e contestualizzate sui propri dati senza dover addestrare nuovamente i modelli, ma “aumentandone” la conoscenza con nuove informazioni.

La RAG si basa su due elementi fondamentali:

• Recupero di informazioni (Retrieval) pertinenti in base alla richiesta all’interno di database o archivi di documenti.
• Generazione di risposte (Generation) utilizzando modelli generativi per produrre risultati basati sulle informazioni recuperate in precedenza.

Caratteristiche

RagOs-AI estende la RAG tradizionale, introducendo una serie di funzionalità avanzate per migliorare l’efficienza e la personalizzazione del sistema:

• Parallelizzazione dei processi: riduce il carico computazionale, migliorando le prestazioni di ricerca, generazione e indicizzazione dei documenti, soprattutto in presenza di grandi volumi di dati.
• Trasformazione e caricamento dei dati: supporta diverse fonti di input, garantendo un’integrazione semplice e veloce di diverse tipologie di documentazioni e dati provenienti da diverse fonti e in diversi formati.
• Architettura a micro servizi modulare e scalabile: permette l’adattamento a esigenze aziendali diverse. Ciascuna componente di RagOs può essere, infatti, abilitata o disabilitata in modo semplice ed è possibile ampliare la lista delle funzionalità e dei database per l’indicizzazione e il recupero delle informazioni.
• Utilizzo di tecnologie open source: per garantire sicurezza, trasparenza e aggiornamenti continui.
• Modularità dei modelli: RagOs supporta sia modelli on-premise che in cloud, permettendo di scegliere la soluzione più adatta alle proprie necessità.

Grazie a queste caratteristiche, RagOs si adatta facilmente a diversi settori e casi d’uso: dal settore finanziario a quello legale, fino alla gestione di documentazione tecnica.

Architettura

Come accennato in precedenza, l’architettura di RagOs è scalabile e modulare, consentendo l’integrazione di nuovi componenti senza impattare il funzionamento del sistema.

L’architettura si compone di due elementi principali:

1. Processing e ingestion dei dati: si occupa di estrarre e processare dati provenienti da diverse fonti (come email, documenti, siti web, database, flussi Kafka, ecc.) e di prepararli per l’indicizzazione nei database vettoriali e a grafo.

2. Recupero e generazione delle informazioni: rappresenta l’elemento centrale di RagOs. Consente, infatti, di recuperare informazioni dai database vettoriali e generare risposte complete e contestualizzate utilizzando modelli di intelligenza artificiale on-premise e cloud.

Il flusso di dati prevede i seguenti passaggi:

1. Connessione alle fonti dati: RagOs supporta database relazionali come OpenSearch e Qdrant e GraphDB come ArangoDB e Neo4j.

2. Pre-elaborazione dei dati: i dati vengono suddivisi in parti più piccole (chunking), trasformati in rappresentazioni vettoriali (embedding) e indicizzati all’interno dei database sfruttando le pipeline create in NiFi.

3. Gestione delle query utente e recupero dei documenti: quando un utente invia una richiesta, il sistema verifica se la risposta è già disponibile in memoria:

• • Se la risposta è presente, viene restituita immediatamente senza effettuare la ricerca nei database.
  • Se non è presente, il sistema interroga i database per recuperare i documenti pertinenti e passarli, sotto forma di contesto, al modello di intelligenza artificiale

4. Restituzione della risposta: a seconda della tipologia di operazioni da eseguire sui dati, semplice ricerca oppure generazione di nuova informazione, viene restituito il risultato all’utente in modo chiaro e contestualizzato.

Vantaggi

L’adozione di RagOs-AI offre numerosi benefici, tra cui:

• Esperienza di ricerca sicura e personalizzabile, con controllo completo sulle fonti dei dati.
• Gestione di diverse tipologie di dati, sia strutturati che non strutturati.
• Configurazione personalizzabile e avanzata, con la possibilità di scegliere in base alle proprie esigenze il modello da utilizzare, il database e le altre configurazioni.
• Integrazione con sistemi esistenti, grazie alla sua architettura scalabile e modulare.

Conclusione

RagOs-AI rappresenta una soluzione innovativa per la gestione delle informazioni, combinando la potenza della RAG con un’infrastruttura completamente open source e personalizzabile. Grazie alla sua flessibilità e sicurezza, permette di ottimizzare i flussi di lavoro e migliorare la produttività aziendale.