Cloud Continuum e pipeline ETL/ELT
L’architettura prevede lo sviluppo di pipeline di acquisizione dati sia in modalità ETL (Extract, Transform, Load) che ELT (Extract, Load, Transform). queste pipeline devono essere dispiegate sul Cloud Continuum, con gestione avanzata di proprietà come confidenzialità, privacy e sicurezza.
L’attività sperimentale
Per garantire la qualità dei dati e le relative proprietà non funzionali nel contesto di pipeline distribuite nel continuum, è fondamentale definire con precisione il modo in cui i diversi stage di processamento vengono dispiegati. Nel corso del progetto sono state sviluppate metodologie avanzate per il deployment dei servizi di elaborazione, affinché tali proprietà possano essere assicurate sia attraverso la configurazione adottata, sia mediante sonde di monitoraggio integrate con i servizi stessi. Un ulteriore aspetto cruciale riguarda il linguaggio utilizzato per descrivere il workflow da dispiegare: esso deve essere sufficientemente generale per rappresentare ogni possibile aspetto computazionale della pipeline, ma anche capace di esprimere vincoli e requisiti non funzionali, come il livello di vulnerabilità dei nodi coinvolti o la necessità di specifiche proprietà degli stessi.
Risultati e prospettive
I risultati ottenuti sono molto promettenti. Il linguaggio definito si dimostra sufficientemente espressivo per descrivere le pipeline, pur mantenendo la semplicità necessaria per essere tradotto in modo efficace in configurazioni di deployment. Le strategie di placement adottate si sono rivelate valide sia per pipeline ETL che per pipeline ELT, aprendo la strada a numerose soluzioni e prospettive di evoluzione futura.
Riferimenti bibliografici
- Berto F. , Ardagna C. A. , Banzi M. and Anisetti M. (2024). Assurance in Advanced 5G Edge Continuum. IEEE Access, vol. 12, pp. 178659-178671.