Architettura
MarghERita è la Big Data Platform della Regione Emilia-Romagna, realizzata per supportare le Pubbliche Amministrazioni nella gestione, elaborazione e valorizzazione di grandi volumi di dati. La piattaforma mette a disposizione un ecosistema integrato di servizi per data engineering, data science, intelligenza artificiale, business intelligence e sviluppo applicativo avanzato, consentendo la realizzazione di progetti innovativi nei settori della sanità, della tutela ambientale, della mobilità, della sicurezza stradale e del governo del territorio.
Progettata secondo i principi di apertura, modularità e portabilità, MarghERita è basata prevalentemente su tecnologie open source e può evolvere nel tempo integrando nuovi strumenti e nuovi paradigmi analitici senza vincoli tecnologici proprietari.
Infrastruttura tecnologica
L'infrastruttura è distribuita tra i data center regionali di Bologna e Ferrara e costituisce uno dei principali ambienti di calcolo dedicati all'analisi dei dati della Pubblica Amministrazione regionale. La piattaforma dispone di:
- 75 nodi computazionali;
- processori Intel Xeon Gold 6336Y;
- GPU NVIDIA Tesla T4;
- 512 GB di RAM per nodo;
- circa 1 PB di capacità di archiviazione distribuita su tecnologia DELL Isilon;
infrastruttura virtualizzata basata su Kubernetes, Hadoop e KVM.
Questa architettura garantisce elevata capacità elaborativa, scalabilità e affidabilità, consentendo l'esecuzione simultanea di molteplici progetti e carichi di lavoro. La virtualizzazione delle risorse e l'utilizzo di ambienti dedicati permettono inoltre la segregazione logica dei dati e delle applicazioni tra i diversi progetti ospitati sulla piattaforma.
Dai Big Data all'Intelligenza Artificiale
MarghERita continua il proprio percorso di evoluzione tecnologica per supportare scenari sempre più avanzati di analisi e intelligenza artificiale.
Alle risorse già disponibili si affianca una nuova infrastruttura specializzata composta da 8 GPU NVIDIA L40S, progettata per supportare applicazioni di machine learning, deep learning e Intelligenza Artificiale Generativa. L'introduzione di queste nuove risorse amplia la capacità della piattaforma nell'addestramento e nell'esecuzione di modelli linguistici di grandi dimensioni (LLM), agenti intelligenti, sistemi RAG (Retrieval Augmented Generation) e soluzioni AI per il supporto alle decisioni pubbliche.
Il potenziamento dell'infrastruttura rappresenta inoltre un elemento strategico per rafforzare la sovranità del dato pubblico e consentire alle Pubbliche Amministrazioni del territorio di sperimentare in modo sicuro nuove applicazioni di Intelligenza Artificiale all'interno di un ambiente governato, controllato e gestito direttamente dall'ecosistema regionale, mantenendo il pieno controllo su dati, modelli e risorse computazionali.
MarghERita si evolve così da piattaforma dedicata ai Big Data a infrastruttura capace di supportare l'intero ciclo di vita delle soluzioni di Intelligenza Artificiale, dalla sperimentazione alla messa in esercizio in produzione.
Architettura software
La piattaforma adotta un modello Data Lakehouse basato su tecnologie open source integrate in un ecosistema unificato per la gestione, l'elaborazione e la valorizzazione del dato. Lo stack tecnologico comprende:
- Kubernetes per l'orchestrazione dei servizi containerizzati;
- Rancher per la gestione dei cluster Kubernetes;
- Hadoop per l'elaborazione distribuita;
- HDFS come file system distribuito;
- Apache Hive per il data warehousing;
- Apache Iceberg per la gestione avanzata dei dataset;
- KVM per la virtualizzazione delle risorse hardware;
- OpenNebula come componente di gestione dell'infrastruttura virtualizzata.
Catalogo dei servizi
Data Engineering
Servizi dedicati all'acquisizione, trasformazione e orchestrazione dei dati:
- Apache NiFi;
- Apache Airflow;
- Apache Kafka;
- Apache Spark;
- Trino.
Data Science e AI
Strumenti per l'analisi avanzata e lo sviluppo di algoritmi:
- JupyterHub;
- librerie Python e R;
- framework per machine learning e intelligenza artificiale;
- integrazione con Apache Spark;
- OpenWeb UI per la realizzazione di chatbot e agenti basati su modelli linguistici.
Business Intelligence
Servizi per la visualizzazione dei dati e la condivisione dei risultati:
- Apache Superset per dashboard e analytics interattivi.
DevOps e Deployment
Strumenti dedicati al rilascio e alla gestione delle applicazioni:
- GitLab;
- Harbor;
- ArgoCD;
- Argo Workflows;
- FileBrowser;
- sFTP.
Sicurezza, governance e isolamento delle risorse
La piattaforma è progettata per garantire elevati livelli di sicurezza, controllo degli accessi e governance del dato.
La gestione delle identità e dei profili utente è affidata a Keycloak, mentre il controllo degli accessi ai dati è governato attraverso Apache Ranger. Il monitoraggio dell'infrastruttura e l'amministrazione dei cluster sono supportati da Rancher, Apache Ambari e sistemi centralizzati di logging, audit, backup e ripristino.
L'architettura multi-tenant della piattaforma consente di realizzare ambienti di lavoro dedicati ai singoli progetti attraverso namespace Kubernetes, database, aree dati e servizi applicativi segregati. Questo approccio garantisce l'isolamento delle risorse computazionali e dei dati tra i diversi progetti, nel rispetto delle esigenze di sicurezza, riservatezza e governance previste per i contesti della Pubblica Amministrazione.
Modalità di utilizzo
MarghERita mette a disposizione tre modalità di fruizione.
- Fully Managed: gli utenti utilizzano strumenti e servizi amministrati centralmente dal team MarghERita, concentrandosi esclusivamente sullo sviluppo delle soluzioni e delle analisi.
- Self Managed: i team di progetto possono sviluppare e distribuire applicazioni personalizzate su Kubernetes mantenendo il controllo del software e del ciclo di rilascio.
- Hybrid: combina servizi gestiti centralmente e applicazioni personalizzate, consentendo di integrare pipeline dati, modelli analitici e servizi sviluppati ad hoc all'interno di un unico ecosistema tecnologico.

Richiedi informazioni
Gli enti interessati ad approfondire le caratteristiche della piattaforma, candidare nuovi progetti o richiedere supporto tecnico possono contattare il team MarghERita attraverso i canali dedicati disponibili sul portale istituzionale. Il gruppo di gestione della piattaforma fornisce supporto nella definizione dell'architettura progettuale, nell'ingestion dei dati, nella configurazione degli ambienti di lavoro e nell'adozione delle migliori pratiche di sicurezza, privacy e data governance.
Per assistenza e richieste di chiarimento è disponibile la casella dedicata margherita@regione.emilia-romagna.it
